「幡多十景」にも選ばれたスポットです。小さな入り口を抜けると急な石段が続く先に本殿があります。

芳安寺の創始は、「土佐国幡多郡下山郷地検帳」によると天正17（1589）年以前のこと。本尊は薬師如来であり、両脇立日光、月光両菩薩と十二神将も同じ厨子に、また知恵を司るといわれる文殊菩薩が別の厨子に奉安されている。本尊薬師如来立像は、行基の作といわれるが、現存する像は、江戸時代後半の作と思われる。堂内に伝存する昭和７（1770）年の棟札によると、京都の仏師である尾松左門と尾松太郎右衛門が本尊の修理をし、その後、安永10（1781）年新堂建立時にも本尊の修理があり、両脇立日光、月光両菩薩像と十二神将像が新しく作られた。

明治時代には、本尊を別の地で祭るなど時の紆余曲折を経て、昭和12（1937）年に元の所に新堂建立。平成14（2002）年４月には権谷地区有志の多大な奉賛により、現薬師堂建立に至った。なお、旧暦８日を祭日とし、３月８日、７月８日には祭事が行われる。

一条家の家老、土居宗算の末裔であるといわれる土居家に伝わっていたもの。紺糸縅の立派なものだが、管理が悪く傷みがかなり激しい。土居家は代々、口屋内に居住し土佐藩郷士調査書や幕末の海浜防備配置書にもその名が記されている。

発掘調査は、第１次が平成８（1996）年度に、第２次は平成９（1997）年度に実施された。
第１次では、中世・近世の遺物を若干含むものの、主体は縄文後期中葉から後葉にかけての時期の土器や石器が大量に出土し、それに伴う配石遺構19基の検出にも成功している。
遺物の中で特に目を引くものとして、女人像が線描された線刻礫や石棒、サヌカイト製石材核、良好な片粕式・伊吹町式土器などが挙げられる。配石遺構の大部分は、後期後葉の伊吹町式期に構築されたことと、その終焉が晩期にあったことも明らかにされた。
なお、配石遺構を有する愛媛県北宇和郡広見町（現・鬼北町）の例と合わせて、非実用的遺物（線刻礫・石棒）の出土などから、高知県内初の縄文後期に属する祭祀遺跡とみられている。
大宮・宮崎遺跡の調査は、平成７（1995）年度に着手された「西土佐村地区県営ほ場整備事業宮﨑工区工事」に伴う緊急発掘調査として、平成８（1996）年度から行われた。特筆すべき成果として、縄文時代後期（約3,000年前）と見られる「縄文のヴィーナス」と名付けられた線刻礫が出土した。また、祭祀跡とみられる配石遺構も多数検出されている。
大宮地域は、古く縄文時代に狩猟民が生活したと思われ、大宮神社境内と大宮小学校の校庭からは環状石斧と７個の石鏃が出土しており、同校に保存されている。

一木作りで彩色が施されている。像の高さは41.5cm。共木の宝冠をつけ、球状の宝髪を載せている。髪や衣は細かい技法を避けて、省略作りとしているが、全体の均衡良く、温和な相貌が藤原期の特徴をよく表している。この仏像は、堂屋の片隅に置き去りにされ、しかも壊れていた。それを昭和48（1973）年、西土佐村文化財調査委員が発見し修復（片腕は発見されなかった）したもの。技の優れた仏師の作といわれている。