原始社会末期，尧封彭祖于今市区所在地，为大彭氏国，徐州称彭城自始起。夏禹治水时，把全国疆域分为九州，徐州即为九州之一。春秋战国时，彭城属宋，后归楚，秦统一后设彭城县。楚汉时，西楚霸王建都彭城。三国时，曹操迁徐州刺史部于彭城，彭城自始称徐州。唐初，徐州与彭城郡名称多次互易，中后期徐州为节度使驻地。宋元两朝都置徐州，隶属和辖领变化较频。明初徐州曾直隶京师，后属南京。清初，徐州先后为江南省和江苏省所属直隶州，雍正末年升为徐州府。

民国初，府废，徐州府地附郭铜山县，后曾设徐海道，治所在铜山（徐州）。抗战胜利后，国民政府仍置徐州市，属江苏省。中华人民共和国成立后，保留徐州市，初为山东省辖市，后划回江苏省，并同时成立徐州专区，驻徐州市。1983年，江苏省实行市管县体制，撤徐州专区，将所辖6县划归徐州市。徐州市现辖5区6县（市）。

所谓古彭，此处的古不是指“古代”，而是说历史悠久。