出自叶绍翁《游园不值》，原句∶“应怜屐齿印苍苔， 小扣柴扉久不开。 春色满园关不住，一枝红杏出墙来。”南宋诗人叶绍翁，字嗣宗，号靖逸，长期隐居于钱塘西湖。一日，正值江南二月，云淡风轻，春光明媚，景色宜人，遂萌访友之念。绍翁乘兴而来，沿途观赏花卉，万紫千红，美不胜收。不久，抵于友人之所，轻叩柴扉，久而无人应门。绍翁自觉扫兴，但不愿如此败兴而归，便赋诗一首，自我解嘲，聊以自慰。大意曰：“主人恐鞋损青苔，蓬门不敢为君开；满园春色难掩盖，一支红杏招人来。”

红杏出墙原形容春色正浓，春意盎然。后喻女有外遇或偷情，不守妇道，常用此语。