Haji Mohd Zain bin Haji Abdul Rahman dilahirkan di Kampung Paya Semambu Relau, Kedah, pada tahun 1883.Anak sulung daripada 8 orang adik beradik.Semasa kecil Haji Mohd Zain mempelajari ilmu Al-Quran dan agama daripada ayahnya sendiri iaitu Haji Abdul Rahman bin Ateng, seorang imam di Kampung Relau yang amat disegani.Daripada 4 orang anak lelaki Hj. Abdul Rahman, Mohd Zain merupakan anak yang paling cerdik dan cepat menerima ilmu yang diajar.Sebelum meningkat dewasa, beliau telah dihantar belajar kepada beberapa orang tuan guru di sekitar utara negeri Kedah.Paling lama beliau menuntut ialah di Pondok Kampung Pulau Pisang, Kedah.Tidak diketahui disini siapakah guru-guru beliau ketika itu.Setelah mendapat tauliah dan ijazah daripada beberapa orang gurunya di Kedah, pada tahun 1924 beliau telah berhijrah ke negeri Melaka yang bersejarah dan membuka sebuah sekolah pondok di Kampung Paya Rumput, Alor Gajah yang diberi nama Madrasah Ad Diniah.Beliau telah berkahwin dengan Puan Aishah binti Ismail dan mendapat 5 orang puteri.

Nama Hj.Mohd Zain bin Hj. Abdul Rahman tercatat dalam sejarah Melaka antara 4 orang ulama masyhur yang membuka sekolah pondok.Selain daripada alim dengan ilmu agama Hj. Mohd Zain juga mahir dengan beberapa ilmu kebatinan, beliau cekap bermain senjata seperti keris dan tekpi. Beliau juga mahir dengan ilmu penangkap.Pada bulan Safar 1352 bersamaan Jun 1932, Hj.Mohd Zain pulang ke Sungai Bakap dan membuka pondok Ad Diniah Islamiah di Jalan Stesen dengan menggunakan nama pondok yang ditinggalnya di Melaka.Pada malam Ahad 2 Safar 1362 bersamaan 7 Februari 1943, ketika menjelang subuh Tuan Guru Haji Mohd Zain pulang ke rahmatullah.Walaupun telah meninggal, penyebaran ilmu dan dakwah Islamiah berjalan terus dibawah pimpinan menantu sulung beliau iaitu Tuan Guru Haji Shapee bin Haji Harun.