山西大学创办于1902年（清光绪二十八年），是我国创办最早的三所国立大学之一，最初称山西大学堂，设中学专斋和西学专斋，由英国人李提摩太和山西巡抚岑春煊共同创办。校址在太原市侯家巷（现太原师范专科学校）。

民国初改名为山西大学校；

1918年确定为国立山西大学；

1931年改名为山西大学；

1949年中国大学理学院并入山西大学；

1953年改称山西师范学院，医、工两院相继独立建院，法学院称财经学院，后划归入中国人民大学；

1959年，再度组建山西大学；

1961年，山西大学与山西师范学院合并，仍定名为山西大学；

1962年，山西体育学院、山西艺术学院并入山西大学。