Pada Juli 1966, para pengrajin batik dan tenun yang tinggal di Kampung Jogokariyan serta tergabung dalam kelompok Koperasi Batik “Karang Tunggal” dan Koperasi Tenun “Tri Jaya” membeli tanah wakaf seluas 600 meter persegi. Di lahan inilah Masjid Jogokariyan nantinya dibangun.
Dokumen resmi masjid dalam tulisan berjudul “Profil Masjid Jogokariyan” karya M. Jazir diperoleh keterangan bahwa sebagian besar dari pengusaha batik dan tenun tersebut adalah simpatisan Masyumi dan anggota Muhammadiyah.
Tanggal 20 September 1965, dilakukan peletakan batu pertama pembangunan masjid. Dan akhirnya, bersamaan dengan peringatan hari kemerdekaan RI pada Agustus 1967, Masjid Jogokariyan diresmikan.
Andi Prasetya (2014) dalam risetnya berjudul “Optimalisasi Fungsi Masjid sebagai Ruang Publik: Studi Peran Pengelola dan Transformasi Ruang Publik di Masjid Jogokariyan” menyebutkan bahwa Masjid Jogokariyan diresmikan oleh Ketua PDM (Pimpinan Daerah Muhammadiyah) Kota Yogyakarta.
Awalnya, luas bangunan masjid ini berukuran 9x9 meter persegi, ditambah serambi dengan luas 9x6 meter persegi. Total luas kompleks Masjid Jogokariyan adalah 15x9 meter persegi.
Ternyata, antusiasme umat Islam untuk beribadah dan beraktivitas di masjid ini semakin hari bertambah banyak. Akhirnya, Masjid Jogokariyan pun mengalami beberapa kali pembangunan tambahan, termasuk menambah tanah seluas 760 meter persegi pada 1978.
Tahun 2009, tanah yang melingkupi kompleks masjid bertambah lagi. Bahkan, di area masjid ini kemudian dibangun Islamic Center Jogokariyan yang menempati gedung tiga lantai, termasuk penginapan dan ruangan untuk rapat.
