車や旅館の部屋の中で、勇作は徐々に自分の過去を語る。スーパーのレジ係だった妻・光枝(倍賞千恵子)との出会い、結婚、そして幸せな新婚生活。その後、光枝が妊娠したらしいということで喜ぶ勇作。父親が戦死したため親を知らずに育ってきたので余計うれしかったのだ。
医者に行くという光枝に早く知りたいと言い、「もし妊娠していたら、竿の先に黄色いハンカチを揚げておく」という光枝の言葉に、勇んで仕事に出て行く。仕事帰りに、竿の先にはためく1枚の黄色いハンカチを見つけた勇作は、天にも昇る気持ちだった。
しかし数日後、「無理をするな」と言ったのに、力仕事をした光枝は流産してしまう。病院で勇作は光枝の過去を知ることになる。それは5年前の流産。それに立腹してヤケ酒をあおりながら、「俺は隠し事をする女は嫌いだ」と言った。光枝が「流産の話を聞かなかったから」というのに、絶望した勇作はヤケになり、夜の繁華街に繰り出し、偶然肩が当たったチンピラ(赤塚真人)と喧嘩を始めてしまい、遂には相手を死なせてしまう。
逮捕され、刑務所に入った勇作は離婚を決意する。面会に訪れた光枝に勇作は「今ならお前はまだ若いし、その気なら良い男もいるかも知れん、幸せになれ」と諭す。「あんたって、勝手な人だねぇ、会った時もそうだったけど」と光枝は泣いてしまうが、これが不器用な生き方しかできない、彼流の男の愛情表現だった。
しばらくすると、刑務所に判を押した離婚届が届いた。責める朱実に「俺があいつにしてやれることはそれだけだ」「どうしてこんなヤクザに生まれついたのかな」と嘆く。「明日は札幌でお別れだな」「仕事なかったら東京へ行くかも」ともいう。欽也は涙にくれる。