童歌「とおりゃんせ」は当社の参道が舞台といわれる。川越城築城により天神曲輪に位置することになり「お城の天神さま」と呼ばれた。
城内にあることから一般の参詣ができなくなったのだが、信仰が篤いことから時間を区切って参詣することが認められた。
しかし、この天神さまにお参りするには川越城の南大手門より入り、田郭門を通り、富士見櫓を左手に見、さらに天神門をくぐり、
東に向かう小道を進み、三芳野神社に直進する細道をとおってお参りしなければならなかった。
一般の参詣客に紛れて密偵が城内に入り込むことをさけるため、帰りの参詣客は警護の者によって厳しく調べられた。
そのことから「行きはよいよい、帰りは怖い……」と川越城内の子女の間で唄われるようになり、それが城下に流れ、
武士や僧侶、町人たちによって江戸へ運ばれ、やがて全国へ広まって行ったものである。