天守閣が明暦3年(1657年)の大火で焼失した後は復旧されなかったので、富士見櫓が天守閣に代用されたと伝えられています。現存の富士見櫓は、万治2年(1659年)の再建で、江戸城本丸の遺構として貴重な存在といわれています。どこから見ても同じ形にみえるため八方正面の櫓とも呼ばれ、特に石垣上にせり出している石落し仕掛けのある南面の屋根が描く曲線はとても優美です。
石垣は主に伊豆の自然石でこのあたりの石垣の積み方は初期の打ち込みはぎで自然石をそのまま積んでいるため、乱雑ですき間が多く崩れそうですが、積み方としては水はけもよく最も堅牢といわれていて、関東大震災でもまったく崩れなかったそうです。石垣の高さは約14.5m、櫓の高さは約15.5mになります。