渡邉家の当主、儀右衛門善高は、文禄三年（1594）年に出生、村上藩主　松平大和守直矩(なおのり)の家臣で郡奉行を勤めていました。寛文五年（1665）、家督を嗣子に譲り桂村に隠居し、寛文七年（1667）に下関の現在地に転居したということです。 　渡邉邸は周囲に堀や塀をめぐらした1ヘクタールの敷地に、17アールの大邸宅が旧国道113号線に面して威容を誇っています。 　かつて75人の用人が仕事を分担して働き、1,000ヘクタールの山林を経営し700ヘクタールの耕地からは9,000俵の米が収納されたという豪農の風格を、ここでしのぶことが出来るとおもいます。 　天明八年（1788）と文化十三年（1816）に居宅から出火し、今の主屋は文化十四年（1817）に再建されたものです。 　昭和二十九年（1954）には国の重要文化財に指定されました。大座敷から見られる庭園は、昭和三十八年（1963）国の名勝に指定されました。 　二代三左衛門善延は養子で、初代とともに廻船業を営み、また酒造業を開業して財貨を集積しました。 　なお、廻船業は幕末、酒造業は明治初期まで続きました。 　三代三左衛門善久は、享保十一年（1726）財政難に苦しんでいた米沢藩に融資したのを手始めとして、幕末までに総額一〇万両以上用立てました。 　そのため、その巧により五代三左衛門良英以後、勘定奉行の待遇を受け、ことに七代三左衛門善映は、寛政十年（1798）四五〇石の知行が与えられました。 　土地集積は、米沢藩や諸藩に用立てした融資の返済金などを充当して順調に進められ、既墾地の紀伊国新田・長政新田・城塚新田を購入しました。そのほか、自らも新田を開発し、渡辺新田と呼称することを藩府代官所から正式に認可されました。 　四代三左衛門善永は、地域の神社・仏閣を再建し、また京都から遠州流庭師を招き、前記庭園を構築しました。五代三左衛門良英は李亮、六代目三左衛門善富は李郷と号し、ともに北越美濃派俳諧の宗匠として活躍、文人墨客ここに遊び、多くの文化財を残しています。