晋作は、一人息子ということもあり大事に育てられた。
幼いころは病弱だったので、母のミチが近くにある円政寺で晋作の健康を祈り、寺にある金毘羅社(こんぴらしゃ)の巨大な天狗面を見せて「肝試し」、立派なサムライになるように祈った。
しかし、当の晋作は喜んで見に行ったというから、風雲児の登場を予見させる。
ほかにも、晋作の風雲児としての姿を彷彿とさせる逸話がある。ある時、大人数での喧嘩が始まると晋作はすかさず姿を消してしまう。臆病風に吹かれたのかと思いきや、味方が敗れそうな顔ぶれに、晋作は援軍を引き連れて登場し勝利に導く。機を見るに敏な性格に、伊藤博文(いとうひろぶみ)に「動けば雷電の如く発すれば風雨の如し」と言わせた片鱗がうかがえる。
ところで、幼いころ晋作は吉松淳蔵(よしまつじゅんぞう)という人の塾で学んでいる。そこで机を並べたのが、松下村塾で晋作と「松門の双璧」と言われた久坂玄瑞(くさかげんずい)である。この塾での出会いが晋作を松下村塾に導いたともいわれている。
晋作は、十歳のころ疱瘡(ほうそう)にかかり生死の境をさまよう。このころの萩城下は数年おきに疱瘡が大流行した。晋作の治療に当たったのが近所の藩医青木周弼(あおきしゅうすけ)と藩主の侍医能美洞庵(のうみとうあん)である。
家族必死の看病に当たり死を免れたが、体にはあばたの跡が残り「あずき餅」のあだ名をつけられた。