神社の起源は不明ですが、吾妻鏡巻一によれば 房総に兵を挙げた源頼朝が治承4年（1180年）10月6日、鎌倉入りする前夜 武蔵より相模に入り、世野郷（瀬谷郷）の相辺沢（あいべざわ）の当神社に一泊したとの記録があります。