肇东有一段美丽的传说。在很早以前，有一个拉骆驼的南方人走到这里，他走南闯北，独具慧眼，认为这里是一块风水宝地。于是每到夏季，他都带上行李和吃粮来这里寻宝。有一天，他发现一棵很大的草，根部有锄杆那么粗，于是将其当作宝物带走了。消息传开后，周围的人都闻讯而来，但是谁也没有挖到大草，而只挖到一些细小的草。因为这些小草根部味道甘甜，故得名为甜甘草，于是人们将此地称之为甜草岗，也就是肇东。

肇东开发于辽、金时代，始建于1735年。清代，系郭尔罗斯后旗游牧地。清光绪年间出放蒙荒，垦民渐稠。1906年2月1日，黑龙江将军奏准，设置肇州厅的同时，于昌五城设肇东分防经历。翌年委任官员，至1908年肇东分防经历正式到任。