18’nci yüzyılda yaşamış bir gezgine göre: İmparator Büyük Konstantinus’un diktirdiği bir haçtan dolayı, Bizans döneminde “İstavroz Bahçeleri” adıyla anılan yöre, Osmanlı döneminde , padişahların “Has Bahçelerinden” biri olarak kullanılmıştır.
Buraya Beylerbeyi adının verilmesinin sebebi, 16’ncı yüzyılda Beylerbeyi Mehmet Paşa’nın burada bulunan köşkünden kaynaklanır.
1829 yılında Sultan II Mahmut, buraya bir ahşap sahil sarayı yaptırır ve bölge hareketlilik kazanır.
Takip eden dönemde ise, Sultan Abdülaziz tarafından, Sultan II Mahmut’un yaptırdığı ahşap sahil sarayı yıktırılır ve 1861-1865 yılları arasında yeni bir yapı yaptırılır. Bu yeni yapının mimarı Sarkis Balyan’dır.
Yapımı 4 yıl süren yeni binanın yapımında beş bin kişi çalışmıştır. Çalışan işçilere moral ve şevk vermek için müzisyenler sürekli müzik çalmışlardır.
Denize düşkünlüğü bilinen Sultan Abdülaziz, ayrıca tavanları bol miktarda deniz ve gemi tablolarıyla süsletmiştir.
Tahtan indirilince, Selanik’e gönderilen II Abdülhamit, Balkan Savaşı çıkınca, 1918 yılında Beylerbeyi Sarayına getirilmiş ve ömrünün son 6 yılını burada geçirmiş ve sarayda ölmüştür.