清水家は、江戸時代に回船業を営み藩の御用達を勤めるなどして「八十様にはおよびもないがせめてなりたや殿様に」と俗謡にも歌われたほど繁栄をみました。屋敷の南に広がる回遊式の庭園も江戸中期に造られたものといわれています。この庭は湧き水を巧みに取り入れて、水の豊かさ、清らかさに特徴がある名園です。平成３年12月20日、静岡県みずべ百選に選出されました。清水家が地域の資産家であったことから、横須賀郵便局（昭和35年３月より大須賀郵便局）の３代局長清水孝一郎氏の時代に、ご本宅の一部が郵便局として使われ、昭和26年まで続いていました。