阳，古时是“南”的意思。衡阳，就是衡山之南，古时候很多地方的命名都是以位于名山大川旁来命名的。

衡阳位于湖南省中南部，地处在蜿蜒千里的湘江中游、五岳独秀的南岳衡山之南，相传“北雁南飞，至此歇翅停回”，故又雅称“雁城”。