西四牌楼本是为慈禧太后庆生而建的，它与东四牌楼正相对称，是一座四柱三楼式的木制牌楼，上面的描金油漆彩色画，纷繁锦绣，煞是好看。东路口牌楼上写有“行仁”，而西路口牌楼上则写着“履义”。
　　
　　西四牌楼之所以有名，并非因为那上面花里胡哨的图案，而是因西市这里曾是几位忠良贤德人士冤死的地方，这其中的一位便是于谦，他那句“粉骨碎身浑不怕，要留清白在人间”便暗示了他的最终结局。
　　
　　明正统十四年（1449），北京遭瓦剌部也先可汗的进犯。英宗在太监王振的怂恿下，亲率大军出征，却在宣化府附近的土木堡被围，成了阶下囚。
　　
　　也先本打算用英宗作为要挟明王朝的条件，可是，以于谦为首的抵抗派大臣坚持保卫北京，并将英宗的弟弟朱祁钰扶上了皇位。经过不懈坚守，终于迫使也先可汗弃京而去。也先见英宗已是无用之物，索性做个人情，放他回京。景泰八年（1457），回到京城的英宗率亲信发动政变，重登帝位。
　　
　　英宗重登帝位后的第一件事便是处死于谦，以解心头之恨，并且是以极其残忍的方式将其处死的：先砍去于谦手足，之后才斩首，为的就是让其尸骨零落不全，即便入土也难安。在于谦被杀一年之后，其部分遗骸才在旧部的护送下归葬老家杭州。
　　
　　作为有功之臣，于谦无辜被冤杀，于是民间便流传开许多关于西市附近、夜晚时分有冤魂出没的传闻。据说，于谦年轻时非常信梦，还常去关帝殿祈梦，卜问前程。一日于谦在书房打盹时，梦到一位身材高大、金色面庞的紫衣人说：“你日后必定是一品大员，朝廷重臣，可你勿要因此而骄横。你生前死后，都要以保护天下苍生为念！”
　　
　　也许是因为心中尚有保护黎民百姓的夙愿，因此，即便肢体残碎不全，于谦也要游荡在世间，以履行保护百姓的使命。住在西市的人们夜半时分经常看到一个缺了手臂的影子，用另一只手提着宝剑来回游荡。但是老百姓并不害怕，而且还为能看到于谦的忠魂而引以为傲。有些老者说，这是于谦不放心咱，又回来保护咱们了。
　　
　　也有人说，于谦死后首级悬于西市，虽然其尸身被部下连夜取回，但直到下葬，他都还是身首异处，因为没人敢再冒风险取回他的首级。因此，每到子夜，于谦的鬼魂就在西市附近游荡，他那是在找自己的头呢！
　　
　　这个传说告诉我们于谦这位忠臣死得太冤、太惨，西市这地方阴气重，乃是冤魂聚集的场所。而且当时的百姓不满意皇帝错杀忠良，这才编造了这么个故事，其实也是另一种形式的抗议，为的就是纪念这位为官清廉、抵死抗战的忠臣。