五老峰就是五老山，晋代张僧鉴的《浔阳记》中有“五老峰横隐苍空，其形势如河中府虞乡县五老山”的记载，《虞乡县志》中有“五老山，在县南十五里，玉柱、太乙诸峰之总名也”的表述。五老山之五老，源出于古代传授伏羲《河图》《洛书》五老之名。北魏郦道元的《水经注》中有“奇峰霞举，孤标峰出，罩络群泉之表，翠柏荫峰，清泉灌项”的描写。