Pada 1965, setelah pembentukan Sekretariat Bersama Golongan Karya (Sekber Golkar), JK terpilih menjadi ketua Pemuda Sekber Golkar Sulawesi Selatan dan Tenggara (1965-1968). Pada tahun yang sama, saat JK tengah menyelesaikan tugas akhir, dirinya terpilih menjadi anggota DPRD Sulsel periode 1965-1968. Karier politik JK seketika melesat saat dirinya terpilih menjadi anggota Majelis Permusyawaratan Rakyat (MPR) pada 1982-1987 mewakili Golkar dan pada 1997-1999 mewakili daerah.
Tahun 2004, JK menjadi Ketua Umum Partai Golkar. Pelbagai persoalan politik pun diselesaikannya, sebab JK memiliki segudang pengalaman bernegosiasi di bisnis maupun pemerintahan. "Sukseslah berbisnis, baru
kamu bisa terjun ke politik," pesannya pada dunia usaha, ketika pengusaha ramai-ramai terjun ke politik.
Namun, saat mencalonkan diri menjadi presiden berpasangan dengan Wiranto, JK harus mengakui keunggulan pasangan SBY dan Budiyono.
Namun, pada 2015 JK kembali mencalonkan diri untuk berpasangan dengan Jokowi. Akhirnya terpilih kembali menjadi Wapres.
Sebelumnya, JK sudah banyak memiliki ide brilian saat menjabat Menko Kesra pada zaman pemerintahan Megawati. Dia bahkan mendapatkan tugas untuk menyelesaikan problem di Maluku. Dia pun mengumpulkan literatur sejarah mengenai Maluku. Ia menghubungi beberapa tokoh yang punya pengaruh. Akhirnya JK mengambil keputusan untuk mengadakan
pertemuan dengan para tokoh di sebuah tempat di Sulsel, tepatnya di Malino, Kabupaten Gowa.

Bagi JK,untuk memutuskan sebuah kebijakan menyangkut perdamaian di Maluku, butuh sebuah lokasi yang sejuk. Akhirnya, dipilihlah Malino.