黄山经历了造山运动和地壳抬升，以及冰川和自然风化作用，才形成其峰林结构。黄山有七十二峰，素有“三十六大峰，三十六小峰”之称，主峰莲花峰海拔高达1864、8米，与光明顶、天都峰并称三大黄山主峰，为36大峰之一。

黄山山体主要由燕山期花岗岩构成，垂直节理发育，侵蚀切割强烈，断裂和裂隙交错，长期受水溶蚀，形成花岗岩洞穴与孔道。全山有岭30处、岩22处、洞7处、关2处。黄山的第四纪冰川遗迹主要分布在前山的东南部。