由于是中国东北最高峰，长白山在多个北方民族的神话传说中都被视为“神山”及本民族的发祥地。
现存第一个记录此山的文献是《山海经·大荒北经》，称为“不咸山”：“大荒之中，有山名曰不咸，有肃慎氏之国。”《后汉书·东夷列传》称为“单单大岭”：“自单单大领（岭）已东，沃沮、濊貊悉属乐浪。”《新唐书》中称为“太白山”，如《北狄渤海传》:“契丹（李）尽忠杀营州都督赵文翙反，有舍利乞乞仲象者，与靺鞨酋乞四比羽及高丽余种东走，度辽水，保太白山之东北，阻奥娄河，树壁自固。”
中国的满族神话中长白山即是满族的发祥地，相传古时有仙女浴沐于山泊中，因食朱果而生一子，即爱新觉罗的始祖布库里雍顺。《满洲实录》记称：“满洲原起于长白山之东北布库哩山下”。
长白山这个名称是辽代金代开始采用的，金女真人定其名为“长白山”，传至今日，已有八百多年，据《金史·世纪》记载,“长白山”一词，最早是由金世宗完颜雍最早使用的。《契丹国志》：“长白山在冷山东南千余里......禽兽皆白。”《金史.卷第三十五》：“长白山在兴王之地，礼合尊崇，议封爵，建庙宇。”“厥惟长白，载我金德，仰止其高，实惟我旧邦之镇。”
女真人建立金朝后将长白山视为“兴亡之地”，先后封之为“护国灵应王”和“开天宏圣帝”，并建立庙宇进行祭祀。金世宗完颜雍于大定十二年（公元1172）册封长白山为“兴国灵应王”，并命当时著名文人翰林院修撰党怀英修撰《封长白山为灵应王册文》，文中极力把长白山神化起来说：“自两仪剖析，山岳神秀各钟于其分野。国将兴者，天实作之。对越神休，必以祀事。故肇基王迹，有若歧阳，望秩山川，于稽虞典。厥惟长白，载我金德，仰止其高，实惟我旧邦之镇......” 明昌四年（1193），金章宗完颜璟又进封长白山为“开天宏圣帝”，并修建了庙宇，确定了祀典，岁时祭祀。长白山天池北侧尚存由玄武岩石块人工垒成的“女真祭台”遗址，即为女真人祭祀长白山所用，1999年，首次在女真祭台旁约3米处发现女真文字碑。
清朝统治者宣称爱新觉罗氏的始祖就是在长白山的仙女孕育的。1677年，康熙派遣内大臣武默纳、费耀色前往长白山拜谒，又撰有《祭告长白山文》，称颂“仰缅列祖龙兴，实基此地”。这次拜谒活动历时两月，回京复命后，康熙下了一道圣谕说：“长白山发祥重地，奇迹甚多，山灵宜加封号，永著祀典。以昭国家茂膺神贶之意。著礼部合同内阁，详议以闻。”十一月，礼部建议：请求册封长白山为“长白山之神”，还要在山上设帐立碑，每年春秋二祭(望祭、叩祭)。康熙批准了这个建议，从此形成了祭祀长白山的制度。第二年春，武默纳再上长白山，赍敕封长白山之神，祀典与祭祀五岳一样。
近代，朝鲜民族也认为长白山是其民族的发源地。但清末，“韩人”（大韩帝国）把长白山贬称为“小白山”（不同于吉林市小白山），据《长白汇征录·山川篇》记载：长白山“韩人称之小白山”。
关于“檀君神话”中的“太伯山”，高丽僧人一然（1206—1289）在《三国遗事》自注中明确指出:“太白，今妙香山。”《新增东国舆地胜览》指出:“妙香山，在府东一百三十里，一名太伯山。”后世学者也多将太伯山(太白山)视为今妙香山。大约到18世纪末，朝鲜人开始将太白山定位为“白头山”或“长白山”，其代表人物是安鼎福(1712—1791)，他在《东史纲目·太伯山考》中根据新罗文人崔致远《上太师侍中状》中关于“高句丽残孽类聚，北依太白山下，国号渤海”的说法，一改前人的解释，谓“太白山”（太伯山）即“白头山”，亦即长白山。其后，附和者渐众。直到现在，还有不少人袭其谬说，将今长白山同“檀君神话”中的“太伯山”联系起来，并进一步将中国的东北视为“古朝鲜”的疆域。