大仙寺は西方山安樹院と号し高野山真言宗の寺院である。「新編武蔵風土記稿」は「村の旧記によるに、いと古き寺にして圓融院の御宇天禄年中の起立（969年）にて、神戸山惣待院神宮寺と号せしが、其後衰退して星霜ふりしを、応永年中法印鎮淳（応永二十八年辛丑『1421年』五月四日没）中興せり。此時山号寺号等も改めしとぞ、（中略）寛文十年二月十日回禄にあひて記録以下鳥有となりしにより昔の事は伝わらずといへり」としている。参勤交代等の際、東海道を往来して保土ヶ谷宿に休泊する者は、当寺に詣で、道中安全を祈願する例があった。宿場での本陣、脇本陣、茶屋本陣等は、すべて当寺が菩提寺である。また、米俵三俵を一度に運んだ保土ヶ谷一の女傑「力持ちお伝」の俵型の珍しい墓や女流俳人幸田南枝の筆塚なども史跡を訪れる人々には欠かせない名所となっている。江戸時代に「客引き神さん」（きゃくじんさん）と称され、商売人の信仰を集めた吉祥天女は古く吉原の花魁たちにも崇拝された。その花魁たちにより享保七年に寄進された梵鐘も第二次世界大戦の供出に合い失うこととなる。現在、境内にある梵鐘は昭和三十四年建立、約二百五十貫の堂々たる姿は参詣者の足を止めずにおけない。
今の本堂、山門は寛文十年（1670年）二月の大火災により消失、元禄十四年（1701年）に再建したと云う。往古は伊勢皇大神宮の別当を務めたとも云われ山門に菊の御紋を拝している。檀信徒の寄進により平成十七年に山門、平成三十年に本堂を改修。屋根上に鴟尾を拝し、「てりむくり」の屋根は近隣では珍しい形状となっている。