陈少白与茶庵寺很有缘，儿时他便经常到寺里玩耍，及至年长，又同寺的住持慧真和尚过从甚密。辞官返乡后，他发起重修茶庵寺，增建了望月台、红叶桥等，使茶庵寺成为外海一大名胜。

1932年，南京政府邀陈少白入京共商国事，1934年秋因病到北平疗养，同年12月23日在北平德国医院病逝，享年65岁，停厝于孙中山曾停厝过的西山碧云寺。

陈少白逝世后，南京政府甚为重视，明令褒扬，又成立由司法院院长居正为首的治丧委员会，并拨出治丧费5万元。灵柩运抵南京时，又召开追悼会，林森、蒋介石、汪兆铭、孙科、于佑任等政要均出席并送了挽联，其中蒋介石的一副挽联为：“艰难缔造怀先烈，淡薄襟期式国人”。

遵照遗嘱，陈少白灵柩运返外海故里安葬。1935年3月5日，灵柩由40名宪兵护送从北平(京)起行，取陆路经天津、南京、上海，转水路由海利轮专船运往广州，停泊于天字码头。3月15日广州各界在省党部举行公祭。下午6时，派军舰仲元号(一说坚如号)专