小南海镇的建制始于1996年，比较年轻，在此之前，南郑县设置了南海区，政府驻地在牟家坝，所以和牟家坝镇颇有渊源。
1949年12月12日，南郑县人民政府成立后，临时将原16乡(镇)划分为7个区，包括南海区。
1950年4月，全县正式划为12区，设南海区。
1956年全县区、乡缩并，南海区公所驻地牟家坝，辖回军坝、秦家坝、郑家坝、里八沟、牟家坝、高家岭、湘水寺、观音桥、海棠寺、关爷庙、法慈院、回龙庙12乡。
1958年9月，南郑县撤区并乡，南海区撤销。是年底，南郑县并入汉中市。
1961年8月恢复南郑县，复制南海区，设区工委，仍驻牟家坝，辖牟家坝、秦家坝、小坝、回军坝、高家岭、湘水寺、关爷庙、法慈院、回龙庙9个人民公社。
1963年8月将南海区工委改称南海区公所。
1996年6月，经陕西省人民政府批准，南郑县撤区并乡建镇，南海区撤销。与此同时，回军坝乡、秦家坝乡合并设立小南海镇，面积181.5平方千米，人口1.6万人，辖秦家坝、干河沟、小河沟、郑家坝、峡山槽、江西庵、明家湾、大庵沟、白果坪、旱光坪、龙门垭、山神庙、康家坝、猪石沟、回军坝、水口乡、下板厂、老龙池、黄家山、青石关、树林子、水桶坝、大垭、东沟24个行政村；小坝乡面积56.7平方千米，人口0.3万人，辖陈家坪、褒城坡、杨家湾、沙子河、双龙、西沟、西坪7个行政村。
2001年，撤销小坝乡并入小南海镇，人民政府驻郑家坝村，小南海镇地域面积较大，总面积为241.04平方千米，根据第五次人口普查数据显示，人口仅一万多人。
小南海镇的得名源于境内的一座古寺，名曰小南海古寺，小南海古寺是镶嵌于米仓山与大巴山北坡的一颗灿烂的明珠，位于牟家坝南10公里的青石关下，始建于明朝神宗万历四十七年(公元1619年)，自然风景区达10平方公里，是著名的佛教圣地，南郑最热门的景点之一。
小南海这个名字也很有意思，民国《续修南郑县志》载：小南海，在青石关下二里许，双峰壁立于山足交歧处，洞开一穴，深无底止。洞在左右古苍钟乳，参差不绝，间有生成佛像者，“明万历年间(1573-1620年)，僧侣与此起虹桥三拱，建观音庙于上，遂有小南海之名”(此处有争议，有资料记载是在明朝，但也有资料记载，宋朝时小南海便是著名的佛教圣地了)，大佛洞：由小南海面壁左上，约三里许，至岸半突开一洞，中建佛殿，故名。”。《南郑县志》中也记载：小南海位于青石关以北二里的山峡中，峭壁之下有溶洞一处，横深莫测，流水常年不断，此即古人所说的池水，今冷水河的主源头。水温终年在9度左右，夏日冰凉刺骨；冬日温暖适人，河上烟雾弥漫，状如银蛇。溶洞中由碳酸盐质水溶液沉淀结晶而成的石笋、石柱、石龙、石佛等物，千姿百态。旧时人们不了解其成因，以为是神主所雕，迷信膜拜，并在洞口建庙供菩萨，遂有小南海之称。
小南海是陕南规模较大的佛教建筑群。庙宇造型壮观，规模宏伟，依山傍水建有三殿、五院。环境清幽秀丽，庙中龙柱凤檐，雕梁画栋，古朴典雅，气势雄伟，巧夺天工。庙内的许多金字、银字和赤色字匾，笔法矫健苍劲，文意动人，其佛像雕塑，工艺精湛，栩栩如生。小南海系因钟乳石酷似佛像，而与佛教结缘；因为佛像貌如观音，所以称为观音庙。观音庙内雕塑神像，造工精湛，大神身高丈余，小神身子不满三寸。
小南海原庙宇及建筑造型壮观，规模宏大，依山傍水原建有三殿，五院，一楼共58间。大雄宝殿为主体，威压群芳，藏经楼独秀一枝。从右到左依次为观音殿，如来殿等。寺院殿堂楼亭，画栋雕梁，龙格风屏，古朴典雅，气势雄伟，是陕南规模较大的佛教建筑之群。寺内原题联匾碑书画荟萃。清光绪末年，颁“播润天池”匾额盛赞小南海。清末陕南镇守张宝亲书“第一名山”相赠。镶嵌于二山门门楼。
小南海素有“四海千山“九幽十频“之赞誉诸如大佛洞，黑洞，鱼洞等分布于方圆十里之内，构成”众星捧月，百风朝阳“之画卷。
小南海是宋代著名的观音道场之一(有待考证)，“观音送水”的故事在当地民间世代相传。
据说唐朝一位姓谭的云游和尚，见这里山清水秀，黑洞奇观，拟在此修建庙宇。他化缘三年，才把钱备足，又请来能工巧匠，两年立寺。听说观世音救苦救难，他又请来艺人塑成观音菩萨正身。从此这里便成了仙境圣地。
消息传开，招来了八方游人和香客。可寺里无水，洞里干涸，挑水要去很远的地方，非常不便。
一天，和尚背了一篓蜡烛，沿着黑洞前去寻水。不知走了多远，突然见到一位美丽的姑娘，正在洗衣服。他匆匆上前，正想开口动问水源，姑娘却问他想去哪里？ 姑娘听和尚说罢来意后，笑着说：“水是有的，在前面很远的地方！” 和尚坚定地说：“只要有水，再远我也前去！”
姑娘对他一笑：“看看你背篓里的蜡烛吧，还能照多久，走多远呢？”和尚放下背篓，发现只剩一支蜡烛，却坚定地说；“不找到水，死不回头！”姑娘微微点了点头：“看你是诚心之人，不要往前走了，快回去吧，保管你有水用。”说罢，将衣裳一拧，提起石盆一倒，石盆里的水滔滔不绝，流成了一条小河，向地洞外奔去。
他回头再瞅姑娘，哪还有影子！只听背后传来声音：“快将最后一支蜡烛点燃，闭上眼睛往回走吧！”和尚突然明白是观音显灵。当他闭住眼睛，正要回头，忽被一阵香风刮出黑洞。放眼望去，水从洞里哗哗流出，从此不断。
小南海虽说为海，但其实只是隐潜于高山之下的一小湖泊，琥湖泊深无底止，俗称“黑洞、龙洞”，洞内古苍钟乳，池水如海，洞外有观音塑像。观音洞是集溶洞奇观和地下暗河为一体的大溶洞，当地人称它为黑洞子，由于观音洞深隧莫测，长期以来无人能够深入。70年代地质专家揭开了它的神秘面纱。据有关地质专家称小南海地区原是一片海洋，在漫长的岁月里由于强大的地质构造运动作用使它凸现地表，大自然的鬼斧神工创造了世间罕见的溶洞奇观形成了观音洞。洞体由石灰岩、碳酸岩和白云岩等构成，地层层序及地质剖面有较高的研究价值，被誉为地下“溶岩地质博物馆，有科考人员初步推断该溶洞的形成约在一亿九千万年前。
大佛洞座落于小南海之上山腰间。其势面俯小南海，背倚龙头山，南漳青石关，北綫池水(今冷水)，被清乾隆时南郑知县王行俭誉为“千仞嵯峨石劈开”。洞口显豁，宽约17米，高约20米，原建有大佛殿，故名“大佛洞”。洞内景观奇特，洞顶成拱状，恰似苍穹笼盖四野，高40米，宽30米，长200米。有五彩云石相缀，组成无数天然图案，有似百鸟朝凤。有似孔雀开屏，犹如画廊和艺术之殿。往里沿石经天桥，秉烛探寻，分经“六个岔洞 ”“过十三道桥”“登十三层石梯“”涉一犀牛滩“。洞底地海暗河，清泉溪流，莫知源终，钟乳滴露，石笋如林，构成奇特的造型。
每年到小南海去烧香拜佛的人络绎不绝，尤其是每年的正月十五，这种盛况为小南海镇赢得了不菲的名声，小南海当之无愧地成为旅游热门景点，如今，除过小南海、大佛洞，近年来龙头山与香炉山的开发也给小南海镇带来了不小的名声，希望小南海镇在旅游的带动下，能发展地更好！
