SMP Islam Diponegoro berawal dengan didirikannya Yayasan Pendidikan Islam Diponegoro (YPID) pada tanggal 7 Oktober 1928 atau 1 Jumadilawal 1346 H dengan nama Arrabitah Al-Alawiyah sebagai cabang Jakarta. Organisasi ini pada awalnya bergerak pada bidang pendidikan agama dan bahasa arab ditambah dengan pengetahuan umum secara terbatas. Pada tahun 1930 setelah menata ulang kepengurusan, Arrabitah Al-Alawiyah memiliki Madrasah Ibtidaiyah yang memiliki bangunan permanen di jalan Katangan Pasar Kliwon. Mata pelajaran utama adalah Agama dan Bahasa Arab ditambah Bahasa Indonesia dan berhitung.
Sesuai dengan perkembangan jaman serta minat masyarakat, pada tahun 1952 pengurus bertekad mengubah Madrasah Ibtidaiyah menjadi Sekolah Dasar. Untuk itu kurikulum agama diatur oleh Yayasan.
Setahun kemudian, pada tahun 1953 Arrabitah Al-Alawiyah mengembangkan pendidikan dengan membuka Sekolah Menengah Pertama. Pada waktu itu lokasi pengajaran masih bersifat sementara yaitu pada gedung milik Bp. R. Hadiwijaya yang dipinjamkan atas dukungan Bapak Awadh Syahbal.
Melihat pesatnya kepercayaan masyarakat pada yayasan ini, Alhamdulillah pada tahun 1953 atas partisipasi masyarakat yayasan membeli tanah seluas 2600 m2 serta membangunnya di jalan Mertadranan No. 2 Pasarkliwon.