Avant d'être un castel, Sainte Claire fut un couvent de Clarisses érigé en 1634  sur la partie déclive et occidentale de la deuxième enceinte du vieux château. En 1790, le monastère fut fermé par la Révolution, vendu comme bien national puis démoli.

En 1849, Olivier Voutier, officier de marine et archéologue renommé -il fut l'inventeur de la Vénus de Milo en 1820 lors d'une mission dans les Cyclades- racheta les ruines et fit construire le bâtiment actuel, sorte de château médiéval plus ou moins baroque. A sa mort en 1877, il fut inhumé selon sa volonté dans la propriété au niveau de ce qui était la tour du couvent avant son démantèlement.

En 1927, le Castel fut acheté par la romancière américaine Edith Wharton qui y fit aménager le jardin botanique actuel, composé de nombreuses essences exotiques. Elle y vécut 10 ans puis, à sa mort, la Castel changea de mains jusqu'à ce que la Municipalité se porte acquéreur en 1955. Il connut alors bien des usages : hôtel de luxe, station de radio locale, compagnie d'assurance.

Depuis 1990, il est loué au Parc national de Port-Cros qui y abrite ses services administratifs.