渡辺家は鎌倉時代より続く毛利家の家臣だったようだが、戦国時代毛利元就(もうりもとなり)の殺害を企て一族は殆ど殺害される。しかし、渡辺通(とおる)は許されて元就の家臣となった。天文十一年(1542年)、毛利元就らを従えた大内義隆(おおうちよしたか)が、出雲(いずも、島根県東部)の尼子氏(あまごし)の居城月山富田城(がっさんとだじょう)を攻撃する。富田城は難攻不落の名城で知られており、敵陣深く攻め込んだ大内軍は補給路を断たれた中での撤退のはめになる。しんがりをつとめた元就軍は、尼子軍に追いつかれ元就は死を覚悟する。そこに登場するのが通である。通はわずか七騎で戦い元就の甲冑を着けて戦死する。元就はやっとのことで本拠地の吉田郡山城(よしだこうりやまじょう)に逃げ帰る。
そのことがあって毛利家は渡辺家を重用し、渡辺家もそれに応え、通の子どもの長(はじめ)は、毛利家の家臣を代表する「毛利十八将(もうりじゅうはっしょう)」に数えられる。豊臣秀吉(とよとみひでよし)からは「豊臣姓」を賜っている。長州藩時代には、武士の鏡開(かがみびらき)である甲冑(かっちゅう)開きの儀式では代々渡辺家が先頭の栄誉に与かることになった。
江戸時代、渡辺家は現在の萩博物館の道を隔てて南側にあった。