衡阳市的衡山县除汉族外，县内有苗族、土家族、侗族、壮族、瑶族、满族、回族、彝族、蒙古族、藏族、布衣族、黎族、京族、佤族等14个少数民族。

衡山县，隶属于湖南省衡阳市。位于南岳衡山和附近地区，为衡阳西南云大都市区组成部分。东隔湘江与衡东县交界，南与石鼓区相接，西邻南岳区，西南与衡阳县接壤，北界湘潭县，西北与双峰县毗邻，属亚热带季风性湿润气候。全县总面积934平方公里，辖5乡7镇，2016年末总人口45.44万。衡山有着1700多年的悠久历史，以境内有南岳衡山得名。