3.3 KEJATUHAN EMPAYAR JOHOR
   British yang bimbang kemudiannya memaksa perjanjian 1855 antara Temenggung Ibrahim dan Tengku Ali. Dalam pertukaran untuk pengakuan sebagai 'Sultan', Tengku Ali bersetuju untuk 'menyerahkan semua Johor'. Perjanjian itu hanya 'mengesahkan' Temenggung memegang kawasan pegangan  feudal beliau. Perjanjian ini bertujuan untuk mengukuhkan kedudukan Temenggung Ibrahim, sekutu utama mereka.

Bendahara Tun Ali dari Pahang ditanya oleh Sultan Mahmud Muzaffar mengenai perjanjian 1855. Dalam jawapannya, Bendahara menegaskan tentang Temenggung seharusnya bersumpah setia kepada baginda dan kelakuan Tengku Ali, Bendahara mendakwa tidak ambil maklum. Beliau juga mengulangi bahawa beliau tidak terlibat dalam sebarang perbincangan dengan Inggeris atau Belanda.

Belanda juga sangat bimbang. Ia seolah-olah bahawa Sultan bertindak sendiri dan tidak akan mendengar apa-apa dari Belanda yang dipengaruhi oleh Yam Tuan Muda Riau dan bangsawan Bugis. Ia meletus menjadi pertikaian terbuka antara Sultan Mahmud Muzaffar dan bangsawan Bugis atas perlantikan Yam Tuan Muda baru Riau. Calon pilihan Bugis juga merupakan pilihan Belanda. Sultan murka yang calon Yam Tuan Muda Riau disokong oleh kuasa asing. Ia menyebabkan kebuntuan bahawa Sultan belayar ke Singapura untuk menyejukkan diri. Ia adalah semasa lawatan Singapura bahawa Sultan terakhir yang besar Empayar Johor telah dipecat oleh bangsawan Bugis pada tahun 1857.