历代的一些文人雅士也与灵璧石结下了不解这缘。据《苏子瞻集》载：宋元丰八年，东坡离黄州去金陵、扬州等地，道经灵璧，访张氏兰皋园，见一块“作麋鹿宛颈状”的灵璧石，甚爱，意欲得之，乃作《丑石风竹图》于张氏临华阁璧上，主人喜，以此石相赠。嗣后，东坡先生还专门作《灵璧张氏园亭记》一文以表纪念。“石痴”米芾更与灵璧石结下奇缘，以至每见灵璧石必拜，并口称“石兄”。据《灵璧志略》载：“米上司杨杰曾攫得他一块心爱的灵璧石，”米以杨夺其所最，罔然自失者累月，屡以书请之，竞不复得。“留下了一段两贤相争的佳话。乾隆皇帝受灵璧石之美所染，御赐其“天下第一石”的美号。薄松龄也是灵璧石的藏家，至今在其纪念馆仍陈列着他当年收藏的数件灵璧石珍品。

　　灵璧古石，尤其是其中的名石，称利举步之宝，然沧海桑田，历遭百劫，现存世者寥寥。今灵璧县城西关电影院西侧，为北宋兰皋遗址，有灵璧石一座，瑰伟异常，是故园遗址，北京的一些公园亦多处存有灵璧古石，如社稷坛西门外小土山之南的一座灵璧石，上面刻有乾隆御书“青莲朵”三字，原是南宋杭州德寿宫的陈列物，乾隆南巡时运往北京的，琼花鸟上普安殿、正觉殿、见春亭、峦影亭一带的假山，其中有不少灵璧石，嵯峨峭峙。故宫御花园钦安殿左右的假山，亦有很多灵璧石散叠其中。另外，苏州网狮园“看松读画轩”和“冷泉亭”内各有灵璧石一座，特别是冷泉亭中的一座，状如苍鹰殿翅，玲珑剔透，色极清润，摩挲声响，是灵璧石中难得的珍品。广洲南方戏院内有一座灵璧石，高丈余，立于药洲水上，黛色荧荧。气貌岸然，当时命名“九曜石”，上有熙宁诸公题铭，其中以北宋书法大家米芾所书“药洲”题刻最为著称。河南开封相国寺内尚存灵璧石一座，座下镌刻“艮岳遗石”四字，据考为北宋遗石，弥足珍贵。

　　灵璧石历史上曾有三次较大规模的开掘。一次是北宋中后期，先是当地人士采石筑园，或为清供，经苏轼、米芾等称扬，名声愈噪，直到徽宗修筑艮岳石，达到高潮。此后即少有人问津，这种局面一直持续到明万历年间。王守谦称：“国朝垂二百六十余年，寥寥无闻，即问之士著者，亦竟不知灵璧石为何物。”万历己酉年（1609），有一个叫张鸿的御史决心来灵璧觅石，乘雨后在山涧沟壑中采得几方，以此为端，又一轮发坑取石的势潮开始了，贩石者接踵而至，王守谦甚至担心在过量的采掘中，当地的灵璧石将成“广陵散”。第三次采掘热近几提的事，随首奇石势兴起，海内外来灵璧求石者日人，于是当地农民视采石为致富途径，日夕奔走于山间觅石。一些当地人惊呼：灵璧石资源已濒临枯竭！并建议政府部采取积极有效措施，禁止滥采乱挖和盲目流失，尽快建立一座“灵璧石藏馆”，收集与保护灵璧石精品，以飨后人。