天照坐皇大御神御魂(あまてらしますすめおおみかみのみたま)を奉り、倭姫命が皇大神宮へ奉る供物を採る場所として定めたとされています。「志摩一の宮」と称され、荘厳・神聖な雰囲気に包まれています。
静かな境内の中に風格のある社殿。毎年11月11日には、磯部神社御礼祭が行われ、みこしをかつぐ子どもたちの元気な掛け声が響きわたります。
そのむかし、大王崎波切浦の浜の口に惣左衛門という漁師が住んでいた。ある日惣左衛門は大王島の沖合へ出て、いつものように網をいれた、ところが、その日に限って魚は一匹も獲れないので、どうしたことか、といぶかしく思っているうちに、長さ1メートルもある石が網にかかってきた。
「なんじゃい、これは」
惣左衛門は、舌うちしながら石を海へ投げ捨てて沖へ舟を漕いでいき、網をいれたところ、さっきの意思が、かかってきた。
「また石か？」
惣左衛門は、つぶやきながら石を捨て、今度は方角をかえて漕ぎ進んでいき、網をいれたところ、また同じ石が、かかってきた。
一度ならず、二度三度まで同じ石が、これは不思議な、と思った惣左衛門は、この石を船に積んで漕ぎ戻り、浜の土堤下へ置いた。
数ヶ月がすぎ、村の子供たちが浜へ出て遊んでいるうちに、この石へ小便をかけると、その子は熱をだし、足で蹴った子は足が腫れるようになってきた。
「これは奇妙な、タタリ石じゃ・・・」
と、いっているうりに、雨風にさらされて、くっついていた貝がらや海藻がとれて石地蔵のかたちが表れてきたので村人たちは相談して石屋に頼んで姿を整えたうえ、村はずれの小高い丘の堂の山にホコラを建て祀ることにした。
ところが、この地蔵、村が大漁や豊作のときは、白い汗をかき、反対に地震や津波、また不漁や難波や不作のときには黒い汗をかいて村人へ予告するようになった。
この噂が近村にひろがっていくと、隣り村から、この地蔵を盗もうと数名の悪者が波切村へやってきた。夜の闇にまぎれて縄でしばってかつぎだし、村はずれの坂道へさしかかって、ひと休みしようと地べたへ置いてから一服し、さて、かつぎあげようとしたところ、どうしたことか、押しても突いても動かない。
そうこうするうち、夜が白みはじめた。
悪者たちは、地蔵をそのままにして逃げ返っていった。それからは、何処からも盗みにこなくなり、村人たちは、今までよりいっそう大切にこの地蔵をまつった。
現在では、毎年2月24日に、海上安全、大漁満足、家内安全、家業繁盛、交通安全などを祈願して祭りが行われている。
奈良時代、聖武天皇の勅により、仏教拡大と一国一寺の詔に基づいて志摩国分寺として創立された。（現存の建物は、天保13年に建て替えられた。）毎年5月8日は、花まつりで賑わう。本尊の薬師如来座像は県の文化財に指定されている。ご開帳は20年に1度。
「受かった」「うっ勝った」と発音できることから「縁起がいい」と受験生や高校球児や悩める人たちのパワースポットとして大人気です。毎年正月3日江戸時代から続く獅子舞が奉納され、賑わいます。
9月に境内で行われる伝統の安乗人形芝居、中高生も含めた地元有志の熱演は力強く美しく、非常に見ごたえがあります。
かつての真言密教の修行僧の祈祷所で、その造立も古く、国の重要文化財に指定されている銅造如来座像の他、県の指定文化財に指定されている十一面観音立像（平安時代から伝わる）などを伝存している。
※ペット同伴可（事前にご相談下さい）
創建年代：鎌倉
延暦年間、弘法大師が唐（中国）から帰って真言密教の布教霊場を建立するため、全国を巡ってよい環境の地を探し求めて御座に来られました。金比羅山で百日の護摩供養の後、自らの爪で地中から突出している自然石に不動明王像を刻まれたと云い伝えられています。
村民は、これを爪切不動として信仰し、一堂を建てて霊場とし、絶対秘仏としています。
境内は緑濃く幽すいな雰囲気が漂い、静寂そのもので、不動堂の他に開祖弘法大師をまつる大師堂をはじめ、薬師堂、子安地蔵などがあります。
（志摩町史 改訂版,志摩町教育委員会,2004年）
本殿は木造の神明造り。朝鮮出兵のとき、越賀隼人が持ち帰ったと伝えられる獅子頭、天狗面などが神宝として祀られています。
漁業の神として信仰を受ける稲荷神社。野村訥斎とその弟子たちによって描かれた48枚の格子絵天井が有名。
当山は、志摩国七福神弁財天・布袋尊の霊場として、また四天王病封じ霊場のガン封じ足腰弱り止霊場として信仰を集めています。
当山は、また大慈寺や花の寺として、早春2月下旬～3月上旬には「てんれい桜（河津桜）」、6月には1500株の「あじさい」が境内に咲き乱れ、あたかも「花極楽」の観を程します。
日本三大御田植祭りの行われる伊雑宮の所管・所属の社で「穂落社」とも称される。
