Es war der Witwensitz für „Carmen Silvas“ Mutter, der Fürstin Marie zu Wied. Eigentlich war es kein richtiges Schloss, es war im Stil einer italienischen Landvilla gebaut. Es lag an den bewaldeten Hängen über dem Ortsteil Segendorf, daher der Name.

Im Jahr 1872 diente es der Fürstin, bis zu ihrem Tod 1902 als Wohnsitz. Die dichtende Königin „Carmen Silva“ war bei ihren Deutschland Besuchen und in der Zeit ihrer Verbannung vom Rumänischen Hof 1892-94 hier zu Gast.

Die Fürstin und die Königin beabsichtigten aus dem Haus eine Heimstätte für Künstler aus der ganzen Welt zu machen, einen sogenannten „Musenhof“, wie „Carmen Silva“ öfter betont haben muss, ein Heim für müde "Seelen".

Bis zu ihrem  Tod war dies Haus ein Stück Heimat, wo sie sich immer wieder zurückziehen konnte.

Die Erben konnten es nicht erhalten, da sie in der Inflationszeit der 1920ger ihr Vermögen verloren, wie viele Menschen der damaligen Zeit. So das das Haus immer mehr verfiel, viele der älteren Segendorfer erinnern sich noch heute daran, als Kind in den Ruinen des Schlosses gespielt zu haben.

Im Jahr 1961 wurden die Ruinen, in einer groß angelegten Übungsaktion der Bundeswehr, plattgemacht..

Heute erinnert nur noch das Einfahrtstor mit Pförtnerhaus und dem benachbarten „Amselheim“ daran.