关于寿山石的生成，民间流传着许多美丽的传说。有的说是女娲当年补天路过寿山，被这里的青山秀水、绮丽景色所陶醉，翩然起舞，将五色彩石散落在这里的山坡、溪畔和田野里，化成了这光彩夺目的宝石。有的说是远古一只凤凰神鸟的彩蛋液渗入寿山附近的地下变成了寿山石。

　　还有一种说法，说寿山这地方起初不叫寿山，是叫别的什么名字。这里附近住着一个年轻樵夫，名叫陈长寿。陈长寿自小喜欢下棋，且棋艺高超。有一天他上山砍柴，见两位白发老者正在山顶的一块大石头上对弈。陈长寿就挑着担子来到一旁观战。两位老者见这位年轻人看得如此聚精会神，似乎颇通棋艺，就邀他对弈。陈长寿也不推迟，就坐下来与两位老者交上了手。虽然两位老者棋艺老道，不想却被这位年轻人连赢了几局。一位老者手捻长髯笑道：“真想不到凡间竟有这等好手，老夫佩服，佩服！”两位老者见长寿衣裳朴素，砍柴为生，颇为清贫，心存怜惜，就将所用棋子送给长寿，吩咐他今后不必再上山砍柴了，自有好日子过。说完只觉一阵清风拂面，已不见两位老者的踪