荒井注は、1974年3月30日に「体力の限界」を理由にドリフを脱退。TBSプロデューサー・居作昌果によれば、いかりやのワンマンが気に入らなかった事の他、ギャラの配分をめぐる不平なども関係していたとされる。一般発表したのは『8時だョ!全員集合』の生本番中で、いかりやによって発表されたが、いかりやのコメントは、「（荒井は）暫くお休みをいただく」というものであり、脱退するとは一言も発しなかった。
荒井の後任には、ドリフのボーヤをしていた志村けんが加入した。なお、新生ドリフメンバーの脱退は荒井が最初ではなく、結成翌年の1965年頃に綱木文夫が脱退（この時の補充は行われず）して以来2人目である。
「芸能界を引退する」と言ってザ・ドリフターズを脱退したにも拘わらず、わずか半年後に芸能界に復帰したため、いかりやを始めとしたメンバーと衝突し、和解に3年を要したという記事も出回ったが、デマではないかといわれている。その後はザ・ドリフターズの番組にゲスト出演するようになり、『全員集合』の最終回にもゲストとして出演している。