相传，在很久很久以前，承德是一片汪洋大海，人们都以打鱼为生。 有这么姓王的兄弟俩儿，弟弟心眼儿好，哥哥怕媳妇。这天，哥俩儿出海打鱼遇见了风浪，小船被海浪打得直打转转儿， 哥俩被转得迷失了方向。弟弟站在船头向远望去，见远处有个黑黑乎乎的东西时隐时现，对哥哥说："前面八成是只大船遇难了，咱们快去救!"说着便把船向那黑乎乎的东西划去。等划到跟前一看，原来是一块巨大礁石。兄弟俩赶忙蹬了上去，在这上面整整呆了一夜，终于躲过了风浪。
第二天，风停了，浪退了，哥俩驾船返回了村子。渔民们听了哥俩的介绍，都知道了这块礁石。打这以后，一遇着风浪，大家就靠这块礁石辨别方向，或者爬上去避难。渔民们非常感谢这块礁石，就在上面修建了一座小庙，以表达他们的心意。
王家哥俩每天早出晚归，家里日子一天天好起来了。可是凶狠的嫂子越来越对弟弟不好了，原先只是不让他吃饱、穿暖，后来又怪他干活少、吃得多，张口就骂，抬手就打。哥哥这块软豆腐，不敢说嫂子半句不是。弟弟看在兄弟同胞的情份上，也就逆来顺受。谁知这样还不行，嫂子提出要分家，哥哥无耐，说："弟弟，分就分吧，祖业对半分。"可嫂子火了，说："爸妈死得早，你是跟着我们过日子，家业吗，全是我们挣的，只能给你一块柜板子，别的全是我们的。"弟弟见此，抱起分的那块板子就离开了家。
无家可归的弟弟面对大海，声泪俱下，他把板子放进海里坐上去，任凭风吹浪打，漂流而去。也不知道过了多长时间，正巧木板漂到了那块礁石上，他上了岸。天又黑又冷，衣服单薄，肚里又饿，他哭了。哭着哭着睡着了。等醒来后，见一位白发苍苍的慈祥老太太站在面前。见他睁开眼，对他说："可怜的孩子，不要伤心，往后的日子会好的。"弟弟刚要问她是谁，老太太说："我是来看你的，给你这把月牙斧，用它把那块柜板做成小船吧。"这小伙子接过斧子说："老人家，你看这一块板，哪够做船呢？"老人说："别着急，我会帮你想办法的。"她说完，就从头上 拔下一根银发，连吹三口气，变成了一条又细又长的银线。她说："孩子，这是织网的线，只要有了船和网，打鱼人就能活下去 了。"说完就不见了。小伙子抬头向海面一看，只见从远处漂来很多木板，不但能做船，还够烧几年的。他就在那小庙里居住下来，小日子过得很红火。
一天，他捕鱼回来，又饿又累，吃完饭就趴在桌上睡着了，睡梦中只见那白发老太太走进房，笑着说："孩子，这小屋周围共计168步，除了晾晒鱼网，鱼干，还能种点菜。"说完就走，小伙子急了，想拉住她吃了饭再走，一伸手，就听哗啦一声，睁眼一看，自己手里正拿个歪嘴小葫芦儿，他把嘴朝下一倒，倒出一把韭菜籽。于是，他就按梦中所说，从海底捞来泥土，在庙前的礁石上，做成池子，撒上籽，从此不愁没菜吃了。
弟弟过上富日子的消息，很快传到嫂子耳朵里。一天，她花言巧语骗得丈夫同意，来到弟弟家。一看这光景，眼珠一瞪说："我把你从小抚养成人，你这渔网和渔船，就作为我对你的抚养费吧。"哥哥说："你不能这么欺负弟弟呀!"嫂子一蹦老高说："这块地盘我也要。"弟弟一听，怒火满腔，新仇旧恨一起涌上心头，他猛地抡起手中的月牙斧子，朝嫂子用力砍去，但因用力过猛，一斧子下去，只听山崩地裂一声巨响，这巨大的礁石被劈成两半，一南一北。那刁嫂子吓得身子朝后一闪，失足落入大海， 淹死了。这声巨响之后，海底下也发出隆隆的响声。随着响声，只见海水渐渐下落，不到一天功夫，海水一点儿也没有了，全都变成了陆地。这块被劈成两半的礁石变成了两个擎天大柱，就是现在的双塔山。嫂子死了，哥俩从此就住在那小庙里。那位白发老太太送给他俩一人一双草鞋，想上哪儿去，穿上它就腾云驾雾走了。每年春节，人们看到那小庙的门上有对联，就是这王家哥俩贴的
巨石如双塔，
昂然直向天。
欲攀无路径，
拟去复留连。
林下逢耆老，
为余话此山：
自来称绝地，
无计可登攀。
昔日乾隆帝，
神仙夜梦邀。
平明起士卒，
伐木架天桥。
逾月桥方竣，
乾隆独自登。
山巅有小庙，
不见应门僧。
庙小仅容案，
庙旁有菜畦。
不知谁栽种，
韭草共离离。
敝履因帮破，
弃之在草丛。
乾隆不屑顾，
径自返行宫。
仙人再入梦，
谓汝太无知：
履是登天渡，
韭为长寿芝。
二者能持一，
岂不胜帝王。
乾隆方懊悔，
始觉在龙床。
复来此石下，
桥栈已无踪。
山顶堆云雾，
仙凡路已封。
听罢长声叹，
寻仙我太迟。
唯将野老述，
写入记游诗。