Harem ve selamlık olarak iki bölümden oluşan yalının küçük ev olarak görünen bölüme (kuzey kısma) selamlık , büyük bölüme (güney kısma) ise harem denirdi. Yalının yüzölçümü 38 m X 18 m = 684 m2'dir.
Behçet Ünsal yalı ile ilgili görüşlerini ; Osmanlı paşalarının bu klasik yalısını Kont Ostrorog satın alır. Ama yalı günümüze onun adıyla anılagelir. Bina iki bölümden oluşuyor. Selamlık (küçükyalı) ve Harem (büyükyalı) birbirine bitiştirilmiş iki ayrı karakter arz ediyor. Tam bir üniteyi ne planda ne fasadda göremiyoruz. Geleneksel konumuyla Boğazın denizini yalının içine çeken (leb-i derya) planı ve cephesi yerli biçimde , ampir ornemanları ve enteriyör döşenişi , yalının içi ise Avrupalı tarzdadır. şeklinde ifade etmektedir.
Yalının 2000 yılından beri sahibi tanınmış işadamı Rahmi Koç ise Kont Ostrorog Yalısını alma hikayesini 13.12.2004 tarihinde Gazete Vatan'dan Devrim Sevimay'a verdiği röpartajda anlatırken ; Kont Jean Ostrorog ve ikinci eşi İşka ili uzunca zamandır tanışıyorduk. Beni ve Türkiye'den kendi çevresindeki dostlarını yurtdışından misafirleri geldikçe tanıştırmak için yalıya sıklıkla davet ederdi. Çağrıldığım için onore olurdum. Yalının kullanım hakkı İşka'ya ait olmakla birlikte çıplak mülkiyeti kontun ilk eşinden olan kızı Anne'e aitti. Ben yalıyı Anne'in kızı Angela'dan 19.000.000 USD. ödeyerek aldım. Bu yalıyı almamdaki tercih nedenim ise bu yalının asaleti ve soyudur ` şeklinde düşüncelerini ifade etmiştir.