历代的一些文人雅士也与灵璧石结下了不解这缘。据《苏子瞻集》载：宋元丰八年，东坡离黄州去金陵、扬州等地，道经灵璧，访张氏兰皋园，见一块“作麋鹿宛颈状”的灵璧石，甚爱，意欲得之，乃作《丑石风竹图》于张氏临华阁璧上，主人喜，以此石相赠。嗣后，东坡先生还专门作《灵璧张氏园亭记》一文以表纪念。“石痴”米芾更与灵璧石结下奇缘，以至每见灵璧石必拜，并口称“石兄”。据《灵璧志略》载：“米上司杨杰曾攫得他一块心爱的灵璧石，”米以杨夺其所最，罔然自失者累月，屡以书请之，竞不复得。“留下了一段两贤相争的佳话。乾隆皇帝受灵璧石之美所染，御赐其“天下第一石”的美号。薄松龄也是灵璧石的藏家，至今在其纪念馆仍陈列着他当年收藏的数件灵璧石珍品。

　　灵璧古石，尤其是其中的名石，称利举步之宝，然沧海桑田，历遭百劫，现存世者寥寥。今灵璧县城西关电影院西侧，为北宋兰皋遗址，有灵璧石一座，瑰伟异常，是故园遗址，北京的一些公园亦多处存有灵璧