说起石女茶，其实在明代就有人提及了。其时，曹洞宗的元来大师（即博山无异，安徽舒城人）就有“懒烹石女茶”语，而安吉灵峰寺的蕅益大师还与元来颇有法缘。

到了近代，又有好事者将其中一株小的白茶移植出谷，可惜却夭折了。从此，大溪桂家场只剩下一株白茶树，孤寂地藏身于幽邃的山坞。

据说1958年，安吉县文化馆就有人拍摄了白茶树的照片，著名茶学家、浙江大学茶学系的庄晚芳教授还在《人民日报》发表过文章，并引起斯里兰卡育种专家的兴趣。再后来，自上世纪八十年代初始，历经多个春秋，才发展成今日香溢天下的安吉白茶。

2006年6月17日午后，在安吉大溪横坑坞（现名“白茶谷&rd