其实，在在叶绍翁的那首传世名作问世之前，喜欢把杏花和墙头连在一起说事的，可谓是大有人在，叶绍翁只是拾了别人的牙慧罢了。譬如，唐代诗人吴融在《途中见杏花》一诗中说：“一枝红艳出墙头，墙外行人正独愁。”再譬如，北宋名臣王安石在《杏花》一诗中也说：“独有杏花如唤客，倚墙斜日数枝红。”可见，历史上有许多文人都喜欢把玉面含羞的杏花，与代表男女相隔的“墙”连一起，还总喜欢让杏花伸出墙头顾盼生姿，“红杏出墙”的引申和联想就变得自然而然了。
说起来，“红杏出墙”最早的出处，始于宋代的话本《西山一窟鬼》。其中形容女子“如捻青梅窥少俊，似骑红杏出墙头”。这个话本说的是裴少俊和李千金不顾礼教的恋爱情事。元代白朴根据此话本，还写成着名杂剧《墙头马上》。到了元代以后，”红杏出墙“的用法就愈加明显起来。比如“恰便似一枝红杏出墙头，不能够折入手，空教人风雨替花羞”。到了近代，“红杏出墙”的用法就固定了下来。鸳鸯蝴蝶派的刘若云，还写了名作《红杏出墙记》。
说到“红杏出墙”不能不说潘金莲，人们几乎把她定为古代“红杏出墙”女人的典型代表。她不仅“红杏出墙”，还谋杀亲夫，这样的女人不是典型代表，那谁是典型代表?然而，潘金莲本质并不坏，“清河县里有一个大户人家，有个使女，小名唤作潘金莲，年方二十余岁，颇有些颜色。因为那个大户人家要缠他，这女使只是去告主人婆，意下不肯依从。那个大户以此恨记于心，却倒赔些房奁，不要武大一文钱，白白地嫁与他。” 那时候大户人家的男主人大都三妻四妾，身为丫环婢女都使出全力地让老爷和少爷们注意到自己，娶她为妾，从此改变了做奴婢的命运。
