景行天皇の御代に、
この地に日本武尊が良き斎庭と定めて皇祖二柱の大御神を祀り
その後白鳥村とよばれたこの地に白雉2年（651年）、
村民が「白鳥明神」として奉祀したのが由緒とされる。

前九年の役征圧のため源頼義、義家父子がこの地を通った際、
白い鳥が飛ぶのを見て浅瀬を知り大川（隅田川）を渡ることができた。
それを白鳥明神の加護とたたえ、鳥越大明神の社号を奉った。