不离三与四，可以理解为不三不四，而不三不四的意思是不正派或不像样子，在生肖中只有老鼠是不正派，所以是鼠。

鼠在十二生肖属于首位，与十二地支中配属“子”，故一天十二时辰中之“子时”，是晚上十一至凌晨一点，又称“鼠时”。