Ia mendapatkan beasiswa Columbia President Fellowship dari kampus yang sama, tetapi Azyumardi pindah ke Departemen Sejarah, dan memperoleh gelar MA pada 1989.
Pada 1992 ia memperoleh gelar Master of Philosophy (MPhil) dari Departemen Sejarah, Columbia University tahun 1990, dan Doctor of Philosophy Degree dengan disertasi berjudul “The Transmission of Islamic Reformism to Indonesia: Network of Middle Eastern and Malay-Indonesian ‘Ulama in the Seventeenth and Eighteenth Centuries”.
Tahun 2004, disertasinya yang sudah direvisi diterbitkan secara simultan di Canberra (Allen Unwin dan AAAS), Honolulu (Hawaii University Press), dan Leiden, Negeri Belanda (KITLV Press).
Kembali ke Jakarta pada 1993, Azyumardi mendirikan sekaligus menjadi Pemimpin Redaksi Studia Islamika, sebuah jurnal Indonesia untuk studi Islam.
