最早提出三军这个概念的是春秋时期期国的大政治家管仲，为了对齐国的军队进行有效的管理，管仲将当时齐国的军队三万人分成三军，每军就是一万人；其中齐国的国君、丞相、士大夫各指挥一军，合起来就是古代所谓的“三军”。春秋时，大国通常都设三军，但各国称谓有所区别，如晋国称中军、上军、下军；楚国称中军、左军、右军；齐国、鲁国和吴国都称上、中、下三军。三军各设将、佐等军衔，而中军将则是三军统帅。随着时代演进，上、下、中军渐渐被前军、中军、后军所代替。到了唐、宋代以后，这样的编制已成为军队的固定建制。这时