Sejak muda, Sultan Abdurrahman mempunyai suatu kebiasaan yang mulia, dan membawa manfaat bagi orang banyak. Selain itu, beliau sering keluar masuk dari daerah satu ke daerah lainnya yakni, selalu berkelana atau mengembara diberbagai tempat untuk menuntut ilmu kadigjayaan maupun pengetahuan lainnya. Kebiasaan tersebut berlangsung sampai beliau menjadi seorang Adipati di Sumenep. Hal ini terbukti sejak perjalanannya dalam mengembara ke Pulau Bali sehingga menemukan makam Sayyid Yusuf.

Diceritakan, sebelum menjabat sebagai Adipati di Sumenep pada tahun 1791 M/1213 H, Sultan Sumenep Sri Sultan Abdurrahman Pangkutaningrat, bersama rombongan yang diringi oleh beberapa prajurit berangkat dari Kraton Sumenep menuju pulau Bali. Dalam perjalanan untuk kunjungan kenegaraan dan sekaligus dalam menyebar luaskan Agama Islam itu, melewati pelabuhan Talango.

Menurut cerita bahwa, diantara orang-orang di Bali adalah pelarian dari kerajaan Majapahit yang tatkala itu runtuh diserang oleh musuh sehingga, mereka lari menjauh dari serangan dan peperangan hingga terpecah belah, diantaranya berada di Sukapura – Probolinggo dan Bali.

Seharian penuh mereka telah berjalan kaki mengintari daratan yang berjarak cukup jauh. Tentu segenap rombongan banyak yang merasa kelelahan, penat, pegal-pegal. Setibanya dipelabuhan Kalianget, matahari sudah mulai meredupkan cahayanya menandakan malam segera datang. Mengetahui hari mulai gelap, Sultan dan rombongannya terpaksa istirahat dan bermalam disekitar pelabuhan Kalianget.