Selain aktif di dunia politik, Abd Rahman juga lama mengabdikan diri di Nahdlatul Ulama.

 

Ia menjabat Bendahara NU Ranting Pragaan selama periode 2009–2022.

 

"Di NU itu saya nyaman. Kalau nggak bisa sowan ke dalemnya para kiai, kita bisa ketemu di organisasi. Itulah sejuknya hidup di organisasi," tuturnya.

 

Meski sudah menjadi anggota DPRD, kehidupannya tetap sederhana. Ia masih memelihara sapi dan kambing dengan sistem bagi hasil bersama warga.

 

Jejak yang Tak Akan Mudah Dilupakan