上将最早是由俄军上将军衔由彼得一世设立的，一直在现在，上将依旧是许多国家将级军官中高级别的军衔等级。根据1716年陆军条令规定，俄军上将担任总司令官，级别相当于元帅。

中国军衔制历史中，中华民国北洋政府时期、国民政府时期和中华人民共和国军队都有设立上将军衔。

目前中国人民解放军将官被设置为大将、上将、中将、少将，其中上将为将官中的第二个级别，再往上晋升，就能成为大将。

军衔通常都是体现在肩膀上的肩章上。其中将官的肩章上嵌有金枝和金星，金星的数量代表了等级，三个、两个、一个金星分别代表了上、中、少三个将官。而校官和尉官则是由星徽和杠代表。