Les origines du château Volterra sont merveilleusement pleines de mystère et de péripéties romantiques.
La construction du château par un aristocrate anglais aurait commencé en 1906 et aurait été complétée en six ans. Selon une légende locale, l'anglais serait tombé amoureux d'une belle tropézienne et aurait édifié ce château pour qu'ils puissent y vivre ensemble. Malheureusement, la passion s'éteint avant que le château ne puisse remplir sa fonction. D'autres histoires un peu moins romantiques, et ayant toujours comme protagoniste un anglais existent, mais on ne pourra probablement jamais certifier leur véridicité puisque le nom de l'homme en question n'apparaît sur aucun des registres locaux. Si le motif de la construction du château – connu à cette époque sous le nom Château Camarat, en raison du promontoire sur lequel il repose – reste toujours un mystère, l'histoire de sa construction est bien documentée. Les pierres qui ont servi à la construction des murs, et qui se trouvent aussi dans le jardin en terrasse de style italien, proviennent du Cap Drammont, dans l'Estérel. Elles ont été transportées jusqu'à la propriété par des tartanes tropéziennes pour ensuite être acheminées par convois de mules le long de la côte escarpée, jusqu'au site.
En 1926, la propriété fut achetée par un certain Léon Volterra, imprésario parisien et personnage plus grand que nature qui, lors d'une visite à Saint-Tropez – destination déjà réputée parmi les vedettes du jour – tomba amoureux d'une autre belle tropézienne, Simone, la fille d'un pêcheur, qu'il épousa cette même année.
Monsieur Volterra était propriétaire de quatre salles de théâtre à Paris: le Casino de Paris, le Théâtre de Paris, le Théâtre Marigny et le Lido. Aussi, il fut responsable des carrières des jeunes étoiles Mistinguett et Maurice Chevalier, mit en scène Les Folies Bergères, créa le jardin d'attractions de la Porte Maillot et fût propriétaire d'une écurie de chevaux de course.
Élu maire de Saint-Tropez en 1936, Volterra avait peu de temps pour s'occuper de ses fonctions officielles et laissa donc tout ce travail dans les mains capables de Simone, son épouse. Elle devint populaire dans la région, soutint sans relâche la vie culturelle et accueillit un nombre impressionnant de manifestations. A l'époque de gloire du château Volterra – pendant les années 30 et 40 – de nombreuses vedettes passèrent par ses portes, dont Raimu, Joséphine Baker, Colette, Jean Cocteau et bon nombre d'autres acteurs et artistes, plusieurs d'entre eux s'installant en semi-résidence. Le château accueillit aussi un grand nombre de danseuses ravissantes. Pendant les années de la guerre, plusieurs figures distinguées de la Résistance y passèrent aussi.
Après la guerre, le mariage des Volterra se termine mais Simone demeure au château et vend des parcelles de terre afin de joindre les deux bouts. Elle continue à accueillir des acteurs, des artistes et des écrivains et chaque année, à noël, elle ouvre les portes du château à tous les habitants de Ramatuelle. Des années plus tard, elle devint une grande enthousiaste du festival de théâtre en plein air organisé par le village. Avant son décès en 1989, elle assistait à chaque spectacle, occupant un fauteuil à la première rangée et réprimandant souvent les acteurs s'ils ne parlaient pas assez fort pour qu'elle puisse les entendre malgré ses problèmes d'ouïe.
Après le décès de Simone, le château s'assoupit pendant longtemps. Abandonné pendant 10 ans, il servit de décor pour le téléroman le plus populaire en France, Les cœurs brûlés, ainsi que pour le film La Vieille qui marchait dans la mer, mettant en vedette Jeanne Moreau. Avec le temps, les bâtiments se sont détériorés, le mobilier a disparu et les jardins et vignobles ont repris leur état naturel.
En 1999, le château fût acheté par une groupe d'investisseurs canadiens sous la direction de Josef Schengili. Le château a été restauré avec soin. Les vignes ont été complètement replantées et la cave entièrement rénovée et équipée.
