８０７年に弘法大師が開基（寺院を創立すること）したといわれる寺院で、飯山観音堂の別当寺を勤めてきたといわれています。南北朝時代に衰えていたのを、天文年間（１５３２～１５５５年）に清源院４世忠州が曹洞宗に改め、再建しました。

金剛寺には国指定重要文化財の阿弥陀如来坐像と県指定重要文化財の地蔵菩薩坐像、鎌倉時代の銅製品など、貴重な文化財が多数残っています。地蔵菩薩坐像は「身代わり地蔵」といわれ、健康と安全を願う人々に信仰されており、阿弥陀如来坐像は通常は非公開ですが、毎年飯山桜まつりにあわせて１日と、秋の文化財保護強調週間に公開されています。