三清山始终与道教有密切的关系。三清山道教文化开始于晋代葛洪，葛洪在三清山拥有特殊地位。据史书记载，东晋升平年间(357-361)年，炼丹术士、著名医学家葛洪与李尚书上三清山结庐炼丹，著书立说，宣扬道教教义，至今山上还留 有葛洪所掘的丹井和炼丹炉的遗迹。尤其是那口丹井，历时一千余载，依然终年不涸，其水汪洌味甘，被后人称之为“仙井”。于是葛洪便成了三清山的“开山始祖”，三清山道教的第一位传播者。

时至唐朝，道教被朝廷奉为国教，士穿行往返于大江南北，三清山的道教也随之兴盛起来，香火不断，朝山香客络绎不绝。唐(周)圣元年(639)年，衢州须江(今称为江山市)之南乡、常山之西乡和饶州弋阳之东乡，设玉山县，遂将三清山划为玉山县所辖。其后，方士将化缘所得，在葛洪结庐炼丹之处营建了三清山上第一座道教建筑--老子宫观(此观被称为“三清福地”)，进一步巩固了三清山在道教史