MTs Negeri 2 Jepara, yang nama awalnya adalah MTs. Negeri Keling, dalam perjuangannya untuk mencapai cita citanya telah mengalami pahit manis yang romantis. Diawali dari status swasta pada tahun 1983 dengan nama MTs. Miftahul Huda Jlegong Keling Jepara sampai tahun 1997 dibawah Yayasan Pendidikan Islam Miftahul Huda yang dipimpin oleh KH. Achmad Thohir.
Dengan beban yang semakin bertambah berat dan di dukung oleh masyarakat, pengurus Yayasan mengajukan penegerian kepada Kementerian Agama RI demi menyelamatkan kegiatan aset agama yaitu proses KBM pada Madrasah Tsanawiyah Miftahul Huda Jlegong. Maka pada tanggal 17 Maret 1997, dengan SK Menteri Agama Nomor: 17/1997 permohonan ini di kabulkan, yaitu MTs. Miftahul Huda Jlegong Keling Jepara berubah status menjadi MTs Negeri Keling Kab. Jepara, dengan Bapak Sutjito, S. Ag sebagai Kepala Madrasah.
Pada 12 Nopember 2003, dengan SK Nomor: wk/1.b/KP.07.6/5978/2003 tertanggal 28 Oktober 2003, kepemimpinan Madrasah ini berpindah kepada Bapak Drs. Suprapto. Dengan masa bakti yang di mulai tanggal 12 Nopember 2003 s/d 13 Juni 2006. Pada tanggal 13 Juni 2006, dengan SK no KW.111/2/KP.07.6/1993/2006 tanggal 31 Mei 2006, kepemimpinan beralih kepada Bapak Drs. Khamdi. Pada masa bakti tanggal 13 Juni 2006 – 29 Desember 2011. Pada tanggal 12 Desember 2011, kepemimpinan madrasah berpindah kepada Bapak Drs. Miftakhudin, M.Pd.I. Madrasah telah mengadakan pembenahan – pembenahan yang signifikan baik dibidang fisik maupun non fisik.
Pada pertengahan tahun 2017, muncul KMA No. 810 Tahun 2017 tentang Perubahan Nama Madrasah Aliyah Negeri, Madrasah Tsanawiyah Negeri dan Madrasah Ibtidaiyah Negeri di Provinsi Jawa Tengah, Madrasah Tsanawiyah Negeri Keling pun resmi berganti nama menjadi Madrasah Tsanawiyah Negeri 2 Jepara, atau kami singkat menjadi MTs. Negeri 2 Jepara.
Madrasah ini mengalami kemajuan yang luar biasa, terutama dalam hal jumlah siswa maupun secara fisik. diawal kepemimpinannya, Madrasah ini memiliki jumlah siswa sekitar 350-an siswa, tetapi kini, Madrasah ini memiliki siswa diatas 900, yang menjadikannya Madrasah/ Sekolah dengan jumlah siswa terbesar di Kabupaten Jepara bagian timur-utara. Pun demikian dengan jumlah rombelnya, yang awalnya Madrasah ini hanya memiliki 10-12 rombel, kini telah menjadi 27 rombel dengan kelas besar.
Kemudian pada tanggal 23 Agustus 2021, tampuk kepemimpinan MTs Negeri 2 Jepara beralih kepada Bapak Drs. H. Zainuri, M.Pd, hingga sekarang. Dibawah kepemimpinan Kepala Madrasah terkini, banyak prestasi yang telah dicapai para siswa-siswi MTs Negeri 2 Jepara.
