不幸的是,抗日战争爆发后,因红茶对外出口受阻,宜红茶制茶业一下陷入困境,于是茶号纷纷倒闭。1943年日寇入侵渔洋关,仅剩的少数茶号也遭到日军烧毁。至解放前夕,因茶号倒闭导致茶园荒芜,古镇茶市便一落千丈,濒临绝境。