石柱山原名“捺山”——當地老百姓都這么叫它，現在石柱山在行政范圍上也隸屬于“捺山茶場”。上了歲數的老人都堅持說該名字的由來與“愚公移山”有關。傳說當年愚公移山的精神感動了玉帝，玉帝命一個名叫“夸娥雁”的大力士幫助愚公將太行、王屋兩山搬走。夸娥雁的兒子也纏著要跟父親一起去人間。于是父子兩人來到地界，幫愚公將太行、王屋山移到東海后，又移走了很多小山，剩下最后兩座小山由夸娥雁的兒子挑。兒子第一次來到人間，又挑走了那么多山，自然十分得意，當他挑著最后兩座小山到了儀征地界時，竟高興得晃起了肩上的擔子。這一晃擔子重心不穩了，他急忙用手捺住擔子的一頭，由于用力過猛，“咔嚓”一聲扁擔斷了，“轟”的一聲，山掉在地上，擔子那一頭的山也隨之塌到地上了。這被“捺”得掉下來的山就被稱為“捺山”，塌下來的那座山就叫塌（塔）山。當地人說，捺山有兩個山峰，兩峰之間凹下去的像手印嗎，那就是夸娥雁兒子的手按的！
另外，山上還有一個“仙人洞”，洞內有一眼“不老泉”。不管什么季節、什么時候，都是泉水長流、甘冽可口。當地傳說在很久以前曾經有一個人上山砍柴，來到山洞口，發現有 8 個白胡子老頭在洞內打牌對弈，洞內有一棵大桃樹，桃花一會兒開、一會兒落，老頭們不時隨手摘個桃子吃吃，舀一瓢腳下的泉水喝喝。砍柴人覺得好玩，也摘了個桃子吃吃，喝了幾口洞內的山泉。砍柴人出洞回頭一看，自己
帶著的砍柴工具全都不見了，下山回到村子，竟發現和自己差不多年紀的人都老了。直到今天，周邊地區來取水的人仍絡繹不絕。