王德武和陈子山不约而同地认为唐家观走到今天，是因为有以下“三大变更”：1956年公私合营；1968、1969年把唐家观的“知识分子”下放到周边乡镇；1974年到77年，部分原本设在唐家观的机构，如卫生院、木材公司、粮食局的撤离。

王德武和陈子山认为的“知识分子”大多是当年生意人的后人。“他们家里有钱，读了书，

有文化，他们下放以前，我们搞文艺，热热闹闹的，他们走了后，我们的文艺就搞不起来了。前两年，我想组织一个乐队，婚丧娶嫁不要请外面的乐队，结果找不到人。”王德武说。王德武认为这是让唐家观走向没落的“釜底抽薪”之举。

而木材公司等单位的撤离，除了让唐家观几乎无商可谈之外，还导致了唐家观古建筑的破坏。木材公司所在的原万寿宫，在木材公司撤离后，拆掉了。卫生院撤离后，其入驻的邵阳会馆也被拆掉，粮食局的撤离则导致了廖氏宗祠的拆毁。

陈子山会画画，唐家观背靠的山上的半山亭有陈子山画的“唐家观全景图”。陈子山不忍唐家观继续没落下去，2002年，他牵头组织了一个“振兴唐家观促进会”，促进会成员大多是从唐家观出去的“人才”，其中有正厅级干部，有博导，有艺术家，作家，等等。2004年，陈子山干脆把唐家观全部人才的头像和简介做成展示板，贴在这些人才出生或曾经居住过的木屋外墙。

2月9日，记者在唐家观7组的10号和11号之间穿过时，11号门前蹲着吸烟的一个老人说：“这叫门当户对。”老人指的是10号人家出来的美籍地球物理学专家曾湘山，11号的中科院博导王兆其。

陈子山把健在的唐家观的人才中的一部分“组织”到了“振兴唐家观促进会”，另一部分对促进会的兴趣不大，没有加入。促进会想把唐家观的旅游做大，恢复了半山亭和后山的回龙寺。一度，回龙寺的香火旺盛如昔。2007年8月的一个晚上，回龙寺供奉的观音像被人盗走，从此香火不再，周边百姓都说“连自己都保不了，还保得了哪个”。“振兴唐家观促进会”也从此松散。