香山的红叶不是枫叶，而是黄栌树叶，属漆科树，落落叶灌木，叶呈卵形或倒卵形，木质中含大量黄色素，故此得名。

香山海拔557米，最高峰顶有一块巨大的乳峰石，形状像香炉，晨昏之际，云雾缭绕，远远望去，犹如炉中香烟袅袅上升，故名香炉山，简称香山。

古时香山曾是杏花山，每年春季杏花开放，清香四溢。明代王衡记载：“杏树可十万株，此香山之第一胜处也”；明诗有“寺入香山古道斜，琳宫一半白云遮，回廊小院流春水，万壑千崖种杏花”之句。《帝京景物略》中有记载：“或曰香山杏花香，香山也”。