毒杀了李煜以后，赵廷美更加清楚地看明白了赵光义的险恶用心，他自己杀害李煜的污名就算是差不多给坐实了。
太平兴国七年（公元982年），魏王赵廷美谋划篡夺皇位的阴谋泄露，宋太宗赵光义遂罢免了他的开封府尹。
赵光义觉得要是这样就把赵廷美给杀了，恐怕落下一个残害手足兄弟的恶名，所以，就对外宣称赵廷美曾经多次立有战功，贬官为西京（今洛阳）留守。
从开封府尹到西京留守，表面上看赵光义似乎对他的这个弟弟网开一面了，其实，赵光义这是将赵廷美一脉宗室赶出了权力中心。
赵廷美一家人全部迁居到了西京以后，他知道自己如果不能够重新回到汴梁城，可以说今生今世就永远与皇位无缘了。
赵廷美被贬谪任西京留守后，暗中仍然与兵部尚书卢多逊频繁来往，想不到他们两个人之间的事情败露了。
魏王赵廷美遂被罢去西京留守，削去一切官职仅保留魏王空名闲居在家，后来又降为了涪陵县公。
雍熙元年（公元984年），赵廷美举家被迁至房州，迁居后不久就吐血而终年仅38岁。