榆林在古代人是匈奴族，匈奴族是古代蒙古高原游牧民族，兴起于今内蒙古阴山山麓，他们披发左衽。公元前215年，匈奴被秦将蒙恬赶出河套以及河西走廊地区。秦末汉初，匈奴强大起来，屡次进犯，对西汉政权造成了极大的威胁，并控制西域，后为汉武帝所败，退居漠北分裂为五部。公元前119年，霍去病“封狼居胥山，禅于姑衍，登临翰海（今贝加尔湖）"。公元前53年，南匈奴首领呼韩邪率众投降西汉。公元前36年，西汉诛灭北匈奴郅支单于。在东汉时匈奴再次分裂为南、北匈奴。公元48年，南匈奴首领醢落尸逐鞮率众投降光武帝刘秀，被安置在河套地区。而北匈奴还是叛服不定，让东汉下决心摧毁北匈奴。汉和帝刘肇永元元年即公元89年，窦宪大败北匈奴，并迫其西迁，班固在燕然山（今蒙古杭爱山）南麓勒石，铭刻《封燕然山铭》纪功。南匈奴在五胡十六国时期建立了前赵政权。匈奴与鲜卑的后代铁弗人建立了胡夏政权。