社伝によれば、欽明天皇13年（552年頃）、神宣に基づき欽明天皇の勅命により、江の島の南の洞窟に宮を建てたのに始まると伝えられています。神仏習合により当社は金亀山与願寺と称するお寺でした。

明治元年（1868）廃物既釈により三重塔や他多くの仏教施設や仏像などが破壊されました。明治6年（1872年）には、仏式を廃して神社となり、今日まで続く「江島神社」へと改称し、県社に列せられました。お寺の時代の中心であった、岩本院は参詣者の宿泊施設としても利用されていたことから、旅館となり「岩本楼」へ改称し、現在も参道を入り、少し進んだ先にて営業を行っています。