王德武和陈子山不约而同地认为唐家观走到今天，是因为有以下“三大变更”：1956年公私合营；1968、1969年把唐家观的“知识分子”下放到周边乡镇；1974年到77年，部分原本设在唐家观的机构，如卫生院、木材公司、粮食局的撤离。

王德武和陈子山认为的“知识分子”大多是当年生意人的后人。“他们家里有钱，读了书，

有文化，他们下放以前，我们搞文艺，热热闹闹的，他们走了后，我们的文艺就搞不起来了。前两年，我想组织一个乐队，婚丧娶嫁不要请外面的乐队，结果找不到人。”王德武说。王德武认为这是让唐家观走向没落的“釜底抽薪”之举。

而木材公司等单位的撤离，除了让唐家观几乎无商可谈之外，还导致了唐家观古建筑的破坏。木材公司所在的原万寿宫，在木材公司撤离后，拆掉了。卫生院撤离后，其入驻的邵阳会馆也被拆掉，粮食局的撤离则导致了廖氏宗祠的拆毁。

陈子山会画画，唐家观背靠的山上的半山亭有陈子山画的“唐家观全景图”。陈