民国初年，胡树铭不幸病故。其子胡炳华、胡炳衡执管茶号，继续经营茶叶生意；同时又在泰兴增设了“胡震泰”茶号。民国九年、十三年，胡炳衡、胡炳华先后病故在绩溪龙川故里；这样，“胡源泰”、“胡震泰”等五家茶叶店的经营重担就落在了胡家妯娌的身上。而胡炳衡的妻子(人称四婶)独自执掌两爿大店时；她大胆战地调整经营思路并选贤用能，从而使老字号的胡家茶店信誉不减且发扬光大。而当胡沇源曾孙胡增银、胡增鑫、胡增钰、胡增金相继长大成人后，兄弟间相互合作，同舟共济，终于使胡家茶号发展到上海等周边省市，形成了连锁经营形式。民国二十二年，胡家又在泰县增设了第三个以“泰”字为号的茶店：“胡裕泰”，随后又在上海开设了“胡裕泰”茶叶分店。然而，在1938年日本侵略者进犯上海时，码头看仓库的员工因害怕而弃库逃跑，“胡裕泰”茶号库存货物被劫掠殆尽；至此，“三泰”茶号元气大伤。其时，茶叶的生产、经营和贸易都是江河日下，难以维持。主要原因是，19世纪末，东南亚茶业兴起，取代了中国长期独占国际贸易的地位，外国茶商直接进入茶区腹地开厂置业，并在疯狂掠夺我国茶叶资源的同时，还压价收货，操纵和控制着茶叶行业，从而使中国茶业雪上加霜，大批茶园荒芜，茶商亏本，茶号倒闭，茶业逐渐滑入低谷。加之时局动荡、社会腐败以及捐厘课税的不断增加，中国的茶业处于奄奄一息的状态。

此时，胡氏家族在泰兴的最后茶店是“胡震泰”茶号，最后的经营者是胡增钰。尽管他为人十分谦和，又受过良好教育，在经营活动中竭尽全力地奔波在泰州泰县和姜堰之间；但在当时的情况下，他是无法扭转茶叶行业“连年折阅”、“十商九困”的局面。于是，胡氏家族在各地的茶庄只能是相继合并、转营到泰州等地苦苦支撑。1956年，百年老店“胡源泰”在公私合营中被则归供销社，上海“胡裕泰”被改成食品店，至此，“茶庄世家”也完成了其家族商业艰辛而有过辉煌的历程。