Sejak akhir tahun 1940 Departemen Agama mulai menyelenggarakan sekolah-sekolah agama seperti SGHA, PHI dan IAIN, yang kemudian setelah kemerdekaan banyak pesantren menyesuaikan diri dengan menyelenggarakan pendidikan formal berupa madrasah. Disamping tetap meneruskan sistem lama berupa sistem wetonan dan sorogan, pondok pesantren juga banyak yang ikut menyelenggarakan pendidikan madrasah seperti yang diselenggarakan Departemen Agama seperti PGA.
Dalam rangka syiar Islam di kota Pati dan memperhatikan kondisi minimnya pendidikan maupun pengetahuan agama masyarakat kota Pati, maka ulama-ulama Pati seperti bapak KH. Muhammadun Daiman (Almarhum), bapak Eko Mawardi, bapak K. Markum, bapak Iskandar dan lain-lain juga atas dukungan PC NU Kabupaten Pati tahun 1958 mendirikan PGALNU (Pendidikan Guru Agama Lengkap Nahdlatul Ulama) di Jl. KHA. Wahid Hasyim Pati.
Hingga tahun 1971 PGSLNU berubah menjadi PGA Islam Pati. Mulai tahun 1973 PGA Islam Pati menempati 2 lokasi yaitu di Jln. KHA. Wahid Hasyim dan di Masjid Agung Pati hingga tahun 1975. Karena Masjid Agung direnovasi, kemudian atas prakarsa Bapak Rustam Santiko (Bupati Pati saat itu), membuat gedung di Rendole, Muktiharjo, Margorejo, Pati (sekarang Jln. Pratomo), untuk seterusnya ditempati PGA 4 tahun sebagai embrio dari MMP (Madrasah Menengah Pertama) yang pada akhirnya pada tahun 1979/1980 PGA Islam dihapus atas instruksi Pemerintah dalam hal ini Departemen Agama, menjadi MMP (MTs Islam Pati) dan MMA Islam (PGA 6 tahun, Pati).
Untuk menarik minat masyarakat kota Pati dan sekitarnya, maka Madrasah Menengah Atas yang berciri khas Islam pada tahun 1983/1984 MMA berubah menjadi MAN Semarang Filial di Pati, yang menempati jalan Wakhid Hasyim Pati, mengingat jumlah siswa selalu mengalami peningkatan maka tahun 1985/1986 pindah ke Rondole, Muktiharjo (sekarang Jln. Pratomo).
Dibawah pengelolaan Yayasan Wahid Hasyim dengan prospek yang membanggakan dan juga untuk meningkatkan pengelolaan manajemen maka pada tahun 1991/1992 tepatnya tanggal 11 Juni 1991 pengelolaan MAN Semarang Filial di Pati diserahkan kepada Departemen Agama / di-Negeri-kan menjadi MAN 1 Pati.