アジア貿易で活躍した日向利兵衛が別邸の離れとして1936年（昭和11年 ）に竣工。
木造二階建ての母屋の設計は、東京銀座の和光、東京上野の東京国立博物館、愛知県庁などの設計で知られる渡辺仁によるものです。
地下室はドイツの世界的建築家：ブルーノ・タウトが内装を設計、タウトが日本に残した唯一現存する建築作品です。
竹や桐をふんだんに用いた社交室、部屋の一部として階段のある洋室、そして和室の3室から構成され、桂離宮、伊勢神宮など日本の様式美を意識して設計されています。

日向氏の死後は民間企業の保養所として大切に使われてきましたが、その後、取り壊しの危機に直面していた2004(平成16)年、東京在住の篤志家の寄付により熱海市が取得。2006(平成18)年には、国の重要文化財に指定されました。
竣工から80年以上が経過し、経年劣化に伴う破損や耐震性向上のための修理事業が急務となり、2018(平成30)年度から2021(令和3)年度まで、大規模な保存修理事業が行われました。
2022年8月、建築された当時の状態を可能な限り保存し再現して一般公開を再開しました。

※見学は完全事前予約制（ネット予約のみ）となります。詳細・予約は下記HPにてご確認ください。