当寺は、旧寺名を穴師(子)寺といい、寺史には白鳳二年(六七三)藤原鎌足有縁の草創という説と、白鳳九年(680)に鎌足の一子、不比等が開山したという二つの説がある。
　讃岐の四国八十六番札所志度寺の別当寺として十一面観音をご本尊にしていたという。持統七年(六九三)頃に不比等内妻の息子房前の母の供養に感銘を受け、房前が志度寺に母の姿として彫らせ奉納した如意輪観音を金剛座寺に遷座させ、行基菩薩開眼の上本尊にして内妻の菩提寺としたと伝えられており、その縁起から「志度の観音さん」と呼ばれていた。この寺史には、志度寺の縁起である謡曲でも有名な『海女の玉取り伝説』が付加されている。
　当地の佐奈は、伊勢水銀の丹生に隣接し『古事記』に登場するほど藤原一族と関係の深い地域であることから、当寺は志度寺と親交のあった藤原氏との関係を伺わせられる。一文書には藤原一族による興福寺・春日五社に次いで伊勢での寺院建立とも伝う。山頂には式内穴師神社跡があることから、大和の穴師坐兵主(あなしにましますひょうず)神社から移住した氏族の菩提寺として草創されたとも考えられ、天暦七年(九五三)の公文書『近長谷寺資財帳』に穴師寺の寺名が登場し、また延喜五年(九〇五)の『延喜式神名帳』伊勢国の項に穴師神社の社名が見えることから、寺史の真偽は別にしても、相当古い歴史を持つ寺社であることがわかる。
　一説には『古事記』に記載されている佐那(佐奈)に座(ましま)す天手力男命(あめのたぢからをのみこと)は佐那神社に祭祀されているが、本来佐那神社は里宮で、当寺のある金剛山に佐那社があり、天手力男命の神体山ではないかと見ている。｢金剛座｣の名称は、普通、釈尊成道の座を意味するが、神仏習合による本地垂迹説から、天手力男命の本地仏を金剛力士と想定すると、金剛(力士)の座す寺と名付けたとも考えられる。現に佐奈から移住したと伝わる松阪市穴師神社の氏族に『ヨイヨイ神事』の祭が伝承されているが、祭に使う御幣を金剛山から授かったと伝わっており、それを｢天手力男命をお迎えする｣といっていたことからも伺える。伊勢神宮と関係が深かった佐那にとって、金剛山々頂から真東に伊勢神宮の杜を拝することができるのも信仰的に大切な山であったことが容易に考えられ、歴史的に重要な史跡であるといえる。
　寺名改名の時期は不明であるが、愛知県知多半島にある羽豆神社の所蔵する鎌倉時代の写経の僧名に金剛座寺名が見えることから改名時期も鎌倉時代以前ということになる。寺史にはその後、仏土寺(仏土山普賢寺)・戒光寺・継松寺・霊教寺・南寺・北ノ坊・東ノ坊を有するまで発展したが、永享四年の地震による損壊、応仁二年、永正三年の兵火、天正年中の織田氏兵により焼失等、すべての古文書等悉く灰燼し、それまでの寺史の詳細が不明となってしまっている。その後、この地を配下においた、北畠利貞氏や蒲生氏郷氏、藤堂高虎氏、紀州徳川氏より寄付高を賜っている。
　寛永十七年(1640) に、度会郡國束寺の僧であった良珠上人が入山し、相可大和屋五代広明が大檀那となり現在の本堂を再興した。客殿は江戸末期建立の書院造りで大和屋の別宅を移築したと伝わる。紀州藩主徳川治寶公には藤原鎌足公所有と伝われた寺宝の笙を献上し一行書を賜っている。江戸中期には、伊勢国観音巡礼の第十番霊場として栄え、八月九日の縁日『夜観音(よかんのん)』には大変な賑わいであった。特に慈母観音として女性に縁ある仏から、本尊真下の本堂の『お砂』をお守りとして身に付けると、婦人病・子授かりにご利益ありと信仰を集めた。

当寺には、平安期末に活躍した歌人西行法師が訪れたという伝説があり、西行法師は、自分の先祖である藤原家有縁の

　当寺に植えられていた桜を題材として詠んだと伝えられ、それが当寺のご詠歌になっている。
　
　　　昔より菩提の樹（うえき）それながら　出（いで）し佛の影（けい）ぞ残れる

　江戸後期の射澤の俳人大淀三千風は『載龍山延命寺院中地蔵院九景の品定』に当寺を記し詠んでいる。
　　　
　　　山は金剛の杵にして　花を打出す非情櫻

　また、大正十年から宮川流域の寺院八十八箇所を巡礼した宮川村汲泉寺住職法雲密成和尚は、五十番巡礼地の当寺を詠んでいる。

　　　盧舎那佛おわします金剛座　八重の山々蓮華なりけり
　当寺は江戸期から比叡山派であったが、戦後、当時住職広橋貫廣の法友であった、比叡山回峰行を再興した叡南祖賢大阿闍梨の修験道法流発足に参集することとなった。ちなみに貫廣住職は、戦後昭和映画の名監督であった小津安二郎の旧制中学時代の旧友で小津日記に度々登場している。社会が貧しかった戦後、貫廣住職は福祉活動を推進し、私財を寄付して児童施設の富士見台学園の創設を行い社会に貢献した（現在は移転）。また四日市湯の山の三嶽寺を兼務していた。
　後三十年間の無住期を得て、染川智勇新住職のもと復興整備作業が進められている。平成十三年に新客殿『戒光院』落成（本尊虚空蔵菩薩）。十五年多気町『歴史の道』に連なる金剛山頂に『神坂展望台』の設置、十七年に『まちかど博物館「佐那文庫」開設』、平成十九年に霊園、『メモリアルパーク多気の杜』が開園、二十年に「龍角庵」が落成、二十三年多気町相可に古民家を借り「まちかど博物館・相可坊」が開館された。平成二十二年、乳熊寺と極楽寺が住職兼務となったを機にグルー
『天台菩提樹会』を結成し本部として運営。
　多気町文化財として、『鰐口』『穴師神像』が指定されている。また寛永二十一年（一六四四）建立の本堂は町内最古の建築物である。さらに金剛山中に横穴古墳群があることがわかり現在調査中である。