Keberadaan MI Muhammadiyah Paremono tidaklah terlepas dari perjalanan sejarah akan berdirinya madrasah ini yang begitu panjang . MI Muhammadiyah Paremono pada beberapa tahun silamlebih dikenal dengan Sekolah Arab. Adapun yang menjadi pelopor berdirinya sekolah arab pada waktu itu adalah Bp Mas Huda. Beliau memiliki semangat berdakwah dalam bidang pendidikan sehingga beliau memiliki keinginan untuk mendirikan sekolah.

Pada tahun 1945 – 1959 Madrasah Diniah atau Sekolah Arab yang ada di dusun Tirto sangat maju pesat banyak siswa siswi berasal dari berbagai desa. Pada waktu perkembangannya sekolah Arab, tokoh-tokoh masyarakat juga akan membangun Madrasah Wajib Belajar atau yang di singkat dengan MWB. Pada tahun 1958 berdirilah MWB atau Madrasah Wajib Belajar yang akhirnya pada tanggal 1 Maret 1959 diganti nama MI Muhammadiyah Paremono.

Pada tahun 1963 mendapatkan tanah wakaf untuk membangun MI Muhammadiyah Paremono dengan luas tanah ± 1365 m². Tanah wakaf itu adalah milik salah satu tokoh yang ada di Dusun Tirto, Desa Paremono, Kecamatan Mungkid, Kabupaten Magelang. Dengan tanah tersebut akhirnya pada tahun 1972 berdirilah MI Muhammadiyah Paremono dan mendapatkan Surat Penetapan oleh Departemen Agama R.I. Perwakilan Propinsi Jawa Tengah sebagai Perguruan Agama Swasta

Dalam perjalanannya MI Muhammadiyah Paremono Mungkid Magelang telah mengalami pergantian kepala Madrasah sebanyak 7 kali, yaitu:

1.   Bapak Rochmad ( tahun 1960 sampai dengan tahun 1968 )

2.   Bapak Anwar Yusuf ( tahun 1968 sampai dengan tahun 1973 )

3.   Bapak B.M. Mudzakir, B.A ( tahun 1973 sampai dengan tahun 2000 )

4.   Bapak Syamsul M. Arif ( tahun 2000 sampai dengan tahun 2005 )

5.   Bapak Subagio S.Pd.I ( tahun 2005 sampai dengan tahun 2007 )

6.   Ibu Sri Mulyani, A Ma. Pd ( tahun 2007 sampai dengan tahun 2010 )

7. Ibu Sulimah, S.Pd.I ( tahun 2010 sampai sekarang )

MI Muhammadiyah Paremono merupakan transformasi Sekolah Arab yang berdiri sejak tahun 1945. MI Muhamamdiyah Paremono merupakan madrasah unggulan dengan banyaknya prestasi akademis maupun non akademis yang diraih setiap tahunnya dalam berbagai ajang kompetesi. Letak madrasah yang strategis, nyaman dan mudah dijangkau. Dengan hadirnya MI Muhamamdiyah Paremono diharapkan menjadi pencetak kader cendikia Islami dan unggul serta bermanfaat bagi ummat.