治承4年（1180）、源頼朝が安房の国に旗上げの際、当地に白旗を上げたるをもって（白幡）と名づけられたと伝えられている。春を呼ぶ祭りとして「湯の花祭り」が有名。 境内には梅、桜、椿、ツツジ、サツキ、ユリ、萩、彼岸花、サザンカ など四季折々で様々な花が楽しめる。