Selain dikenal sebagai ahli ilmu fiqih, dirinya juga berpengetahuan luas dalam masalah kenegaraan, kebangsaan, maupun kemasyarakatan
Dia merupakan salah satu anggota dewan penasehat di organisasi Ikatan Cendekiawan Muslim Indonesia (ICMI).
Ia juga pernah menjadi Ketua Majelis Ulama Indonesia (MUI), serta pejabat sementara Rais Aam PBNU (1991-1992).
Ali Yafie menempuh pendidikan sekolah dasar umum, kemudian melanjutkan di Madrasah As'adiyah, Sengkang, Sulsel.
Ia mengabdikan diri sebagai hakim di PA Ujung Pandang (1959-1962), lalu di inspektorat PA Indonesia Timur (1962-1965).
Baca Juga: Ditemukan Jasad Seorang Remaja Putri di Sleman
Selanjutnya pada 1965-1971, dia menjadi dekan di Fakultas Ushuluddin IAIN Ujung Pandang, serta aktif di ormas NU tingkat provinsi.
Pada Muktamar Nahdlatul Ulama 1971 di Surabaya, ia terpilih menjadi Rais Syuriyah dan sejak tahun itu mulai aktif di NU tingkat nasional.
Setelah pemilu pada 1971, dirinya menduduki kursi jabatan sebagai anggota DPR RI hingga 1987.
Sejak masa itu, Ali Yafie mengajar di berbagai lembaga pendidikan tinggi Islam di Jakarta, dan semakin aktif di MUI.