汉大将军、将军、校尉之属官都有司马，专掌兵事。

1、马在中国古代的战争中占据重要地位，春秋以前的职业化军队主要由贵族出身的子弟组成，战争方式主要是战车的列阵对阵冲锋，而古代的战车是由马拉的，所以马的地位极其重要。形容哪个国家军力强盛，就称呼它为什么千乘之国、万乘之国之类，由于这层关系，司马其实是专门负责管马匹的官，是非常重要的军职；

2、殷商时代始置，位次三公，与六卿相当，与司徒、司空、司士、司寇并称五官，掌军政和军赋，春秋、战国沿置。汉武帝时置大司马，作为大将军的加号，后亦加于骠骑将军，后汉单独设置，皆开府。隋唐以后为兵部尚书的别称；

3、汉武帝定制，司马，主武也，掌管军事之职。大将军所属军队分为五部，各置司马一人领之。魏晋南北朝，诸将军开府，府置司马一人，位次将军，掌本府军事，相当于后世的参谋长。 宋制，司马铜印墨绶，绛朝服，武冠。至隋时废州府之任，不置司马，改置治中。