高野山真言宗米国別院の僧侶の次男として、アメリカ・ロサンゼルスで生まれた。姉はメリー喜多川で、事務所の副社長である。『文春』によれば、帰国した姉と弟は戦時中、親戚にあたる大谷貴義のもとに身を寄せていたという。大谷といえば、宝石商として財を成し、児玉誉士夫と並ぶ大物フィクサーといわれた。永田町では「福田赳夫のパトロン」として知られていた。