約1300年前の文武2年（698）、神変大菩薩と崇められた僧、役小角（えんのおずぬ）が、豊後国彦山から掛錫し、奥の院の岩窟に紀州熊野権現勧請し、秘宝の護摩供を厳修し、「龍の蔵」と名付けたことに始まっているといわれています。
ついで天平13年（741）、行基菩薩がこの霊域に留まり、自ら千手観音を掘り、寺を建て泰安して「龍蔵寺」と名付けました。大内氏・毛利氏の時代にはその守護寺として保護され、一般庶民からも深い信仰を集めました。

宝物庫に安置してある大日如来は、明治の寺院整理の際、ふもと吉敷木崎にあった妙法寺の本尊を移したものです。法界定印を結ぶ胎蔵界の大日如来です。　桧材の寄木造りで、漆箔像です。像の高さは95cm。豊かな面相、肉付きの良い胸や腕、流麗な衣紋など藤原時代の特色がよく見られています。光背や蓮華座は後補。昭和19年に国の重要文化財に指定されました。また、観音堂には雪舟筆と伝える青馬の額があり、今にも土煙をあげ出てきそうな様で迎えてくれます。側面には雪舟の弟子、雲谷等顔筆の馬三十三頭を描いた大絵馬四面があります。

観音堂の前にそびえている巨樹イチョウは、永い時の流れを告げるかのごとくたっています。高さ45m、根元12.7mあり、樹齢は約900年と推定されています。幹の内部は老朽し、空洞になっていますが、樹勢は旺盛です。秋の黄葉時には樹下は黄色の絨毯を敷き詰めたようで大変美しく、また遠くからも望見することができます。国の天然記念物に指定されています。

【鼓の滝（つづみのたき）】
龍蔵寺の中にある鼓の滝。滝が大きく３段に分かれており、中段がくびれて形が鼓に見えることや、落ちる水音が鼓をうつ音に似ていることから「鼓の滝」と呼ばれています。滝の中段にある岩窟（奥の院）に、大仏像が彫ってあります。