Atas inisiatifnya itulah warga desa binaan khususnya para santri dan murid-muridnya merasa sangat kehilangan saat ia pindah tugas ke kampung halamannya di Bangkalan, Madura, wilayah Kodam V/Brawijaya.
Puluhan anak memeluk sedih karena ingin menahan kepergian Riadi. Dia pindah ke Bangkalan karena ingin merawat kedua orang tuanya yg sakit keras. Setelah di Bangkalan ternyata kedua orang tuanya meninggal dunia. Maka, Serma Riadi ingin kembali mengabdi di Pulau Buru.
Dengan restu pimpinan dari Pangdam dan Danrem membuat Riadi semakin bersemangat untuk kembali ke Maluku. Restu dari Pangdam seakan menambah tekad bagi dirinya untuk terus bersemangat mencerdaskan anak bangsa.
“Ini karena panggilan hati. Saya ingin mencerdaskan generasi penerus di sana,” ujar Serma M Riadi.