Pada awalnya, Pondok Pesantren Al-Awwabin didirikan diatas tanah milik pribadi orang tua KH. Abdurrahman Nawi, yang bernama H. NAWI, saat itu lokasinya berada di Jl. Tebet-Barat VII Jakarta Selatan, tepat bersebelahan dengan rumah pribadi Beliau. Dan pada waktu itu pendidikannya masih bersifat non formal, tak ada sekolah, Al-Awwabin hanya menampung santri dewasa, yang umurnya berkisar 20 tahun keatas, dengan jumlah yang dibatasi pula mengingat tempat yang belum memadai.
Dan akhirnya, pada tahun - tahun berikutnya atau berkisar tahun 70 an, barulah anak lelaki kelahiran betawi yang disebut sebut sebagai Kyai Antik ini, mulai membangun gedung - gadung baru untuk mengembangkan kepak sayap Al-Awwabin dengan membuka pendidikan yang bersifat formal, yaitu pendidikan sekolah untuk tingkat Tsanawiyah ( SMP ) dan Aliyah ( SMA ), gedung gedung tersebut dibangun diatas tanah milik pribadi orang tuanya, yang lokasinya berbeda dari yang pertama tadi yakni di Jl. Tebet -Barat VI H Jakarta Selatan.
Perkambangan Pon-pest. Al-Awwabin tak hanya berhenti sampai disitu, ia terus melaju pesat, terus mengembangkan sayapnya, yang pada akhirnya Al-Awwabin mampu meletakkan sayapnya hingga menyentuh wilayah diluar Jakarta, yakni Depok dan Bedahan Bogor yaitu berkisar pada tahun 1980an..Tampak Depan Ma'had Al-Awwabin Depok |
Pada tahun 1990, pertama kali dibuka penerimaan santri baru untuk angkatan pertama yang kira-kira berjumlah 30 santri. Lambat laun santri di Pondok Pesantren Al-Awwabin meningkat sampai kira-kira 500 santri. Akan tetapi di dalam hati beliau rasanya belum cukup membuka Pesantren satu cabang saja. Akhirnya, beliau berinisiatif membuka cabang yang kedua di Desa Perigi, Sawangan yang di khususkan untuk santriwati.