Perfumeは英語で香水の意味を表す言葉である。グループ名としての由来は、結成時（デビュー前）のメンバー（西脇綾香・樫野有香・河島佑香）全員の名前に「香」の文字が入っていたことにちなむ。しかしまもなく河島がグループを脱退し、大本彩乃が加入したため、グループ名の由来を「香りは人の気持ちを和ませたり、楽しい気持ちにさせたりできるので、私たちもそういう存在になりたいという気持ちを込めて、英語で香水を意味するPerfumeというグループ名にした」と説明するように変わった。 西脇はこの説明について、「まあ…後付けなんですけど」と述べている。
当初は「ぱふゅ～む」または「ぱふゅ→む」とひらがな表記だったが、これは「売れるグループ名は画数が13画」という都市伝説にあやかったものである。メンバーが憧れたSPEEDも13画であり、西脇が「SPEEDさんにあやかって13画にした」と語っている。
その後、2003年春に上京してアミューズに所属した際に、グループ名をひらがなからアルファベット表記に改名。 このとき3人は改名を強く拒んだが、ほぼ強制的に改名。 この時を振り返り、大本は「権力って怖いですよね」と語っている。