1950年には、当時人気絶頂であったフランク・シナトラに見出され、1958年シナトラとディーン・マーティン、ピーター・ローフォードらとともに「シナトラ一家」（「ラット・パック」）を組み、シナトラがネバダ州・ラスベガスに所有するカジノホテル「サンズ」を中心にツアーを行ったほか、犯罪コメディ『オーシャンと十一人の仲間』（後にジョージ・クルーニー、ブラッド・ピット、アンディ・ガルシアなどの出演でリメイクされた『オーシャンズ11』のオリジナル）、更に痛快西部劇『荒野の3軍曹』（インド駐屯兵を主人公にした名画ガンガ・ディンのリメイク）、ミュージカル仕立てのギャング映画『七人の愚連隊』などの佳作映画に出演した。この頃はアメリカ国内において公民権運動が徐々に高まりつつあったが、南部を中心に白人による人種差別が激しく、多くのホテルやレストランが客として受け入れることを拒んでいたアフリカ系アメリカ人であるサミーを一家に入れて「サンズ」のショーに出演させることに反対するものが多かった。
しかしシナトラはサミーの音楽センスを高く評価していた上に、自身が新興移民のイタリア系であることから、自ら人種差別を受けることも多く人種差別を嫌悪していたため、周囲の反対を押し切ってサミーをシナトラ一家に迎え入れた。