『宗像大菩薩御縁起』によれば、神功皇后の三韓征伐に際し、宗大臣(宗像大社の神)が「御手長」という旗竿に武内宿禰が織った紅白2本の旗をつけ、これ上げ下げして敵を翻弄し、最後に息御嶋(宗像の沖ノ島)に立てたという。
武内宿禰が旗を織ったのが当地で、その旗が祀られていると伝えられる。武内宿禰は、「我死なば神霊は必ずやこの地に安ずべし」と伝言したといい、境内右手には武内宿禰が沓を残して昇天したと伝えられる沓塚がある。