大治三年(1128),平清盛が一門の繁栄を願い三日三夜、この宝積寺に参詣し,武運を祈りました。
清盛ゆかりの額が保管されており実際に見ることができます。
昔境内には大きな一本松があり、この一本松は平安時代末期に,瀬戸内海を航行する船の目印になるほどの巨木でした。 県指定天然記念物であったが,昭和9年の室戸台風で途中から折れてしまいました。

全盛期の平氏、清盛は1168年頃厳島神社に立派な社殿を造営、よく通っていた。
清盛は娘・徳子の安産祈願のため厳島神社に向かったが、船旅の途中激しい風に逢い、胸騒ぎがした。安産を祈るため地蔵を彫らせるが、耳を完成させる前に徳子が元気な男の子（安徳天皇）を出産したため、地蔵をそのままの姿で祀った。

治承4年（1180）に平清盛の大軍2万に攻められ、源頼政は宇治の平等院で切腹しました。そこで、頼政の奥方「あやめの前」は生まれたばかりの種若丸を連れて、乳母や武士たちと船で西に落ちのびる途中、野呂川に船を止めて、川岸にあった小さな庵寺にたどり着きました。しかし、「あやめの前」はこれまでの疲れで、飲ませる乳まででなくなりました。困った乳母は水尻海岸に知子命を祭る岩があると聞き、お祈りしました。その後、体も元気になり、乳もでるようになったといわれ、この地を「稚児の明神」と呼び、乳がでるように願う人たちがお参りしています。

治承4年(1180)に高倉上皇と清盛がが厳島神社への参詣の際,潮待ちにより,ここ馬島の日向泊でみそぎを行い仮泊したと云われています。その際御座船や警護の平家船団がこのかき筏のように島周辺を埋め尽くしました。江戸時代には,広島藩の御建山であったが,天保5年(834)に火を出して全山消失しています。