Die Geburtsstunde des Schlosses geht auf das Jahr 1875 zurück: Josef Pauer, Sohn eines reichen Passauer Tabakfabrikanten, ließ sich von dem Architekten Professor Lorenz Gedon, der auch für das bayerische Königshaus gearbeitet hat, ein Schloß am See im italienischen Renaissancestil erbauen.

• Nach dem frühem Tod der Familie Pauer verkauften die Erben 1919 den gesamten Besitz an den Grafen Spreti.
• 1926 erwarb Henry Wiltenberg das Schloss.
• Nächste Besitzerin war Gertraud Caspari aus Frankfurt.
• 1936 wird der Reichsbund der Deutschen Beamten Eigentümer.
• Ab 1939 ist Schloss Abtsee zunächst Gau-Sportschule, dann Lazarett.
• 1945 bewohnen es die Amerikaner.
• Von 1946 bis 1958 zieht das Bayerische Rote Kreuz ein und nutzt das Schloss als Pflegeheim, Altenheim und Heimkehrererholungsheim.
• 1958 wurde Carola Müller Eigentümerin und führte lange Zeit ein Kindererholungsheim für Kriegswaisen und bedürftige Kinder.
• Als der Laufener Architekt Gottfried Lobmayr das Schloß kaufte, wurde es nach umfangreichen Renovierungs- und Umbauarbeiten ein Hotel.
• Seit 1991 ist das Schloss eine Venenklinik. Um die Klinik im Schloss betreiben zu dürfen, musste das Haus nach den baulichen Klinikvorschriften umgebaut und neu gestaltet werden.

Der Geschäftsführung der Capio Schloßklinik Abtsee ist die bauliche Erhaltung und  Verschönerung weiterhin ein besonderes Anliegen.