黄南藏族自治州地势南高北低。南部泽库、河南两县属于青南牧区，海拔在3500米以上，气候高寒。北部为尖扎、同仁两县，海拔在1900到4118米之间。

黄南藏族自治州位于青海省东南部，地处九曲黄河第一弯，东南与甘肃省甘南藏族自治州夏河县、碌曲县、玛曲县和本省果洛州玛沁县为邻，西北与本省海南州同德县、贵德县和海东市的化隆、循化县接壤。