芳安寺の創始は、「土佐国幡多郡下山郷地検帳」によると天正17（1589）年以前のこと。本尊は薬師如来であり、両脇立日光、月光両菩薩と十二神将も同じ厨子に、また知恵を司るといわれる文殊菩薩が別の厨子に奉安されている。本尊薬師如来立像は、行基の作といわれるが、現存する像は、江戸時代後半の作と思われる。堂内に伝存する昭和７（1770）年の棟札によると、京都の仏師である尾松左門と尾松太郎右衛門が本尊の修理をし、その後、安永10（1781）年新堂建立時にも本尊の修理があり、両脇立日光、月光両菩薩像と十二神将像が新しく作られた。

明治時代には、本尊を別の地で祭るなど時の紆余曲折を経て、昭和12（1937）年に元の所に新堂建立。平成14（2002）年４月には権谷地区有志の多大な奉賛により、現薬師堂建立に至った。なお、旧暦８日を祭日とし、３月８日、７月８日には祭事が行われる。