狄青与宋仁宗的关系一直还算君臣相得，尤其是狄青战功赫赫，一直不顾及形象地保留着从军时被刻在脸上的字以激励将士，宋仁宗很是感动，也对他的忠诚表示肯定唐志忠。但是北宋个重文轻武的朝代，一些文臣谏官对于狄青所受到的恩宠很是嫉妒，他们一方面担心深受将士爱戴的狄青重演陈桥兵变，另一方面更重要的是他们受不了一个出身行伍的粗莽武夫地位高于他们。无形中这些文臣谏臣开始了对他的打压。曾有一个谏官，说狄青家的狗长出了犄角，而且还冒光，要知道赵匡胤出生时就冒着光，红光满室。可见，谏臣们的别有用心。但是此时的宋仁宗并没有理会这些大臣。然而没过两年，由于汴梁发大水，狄青一家为了避难躲进了相国寺，借住在了相国寺。相国寺是皇室家庙，哪能让大臣一家随便住进来，于是那些文臣抓住时机，又开始了一轮弹劾。这些普通大臣说说也就罢了，但是文坛领袖欧阳修也参了他一本，欧阳修说道，一个武将既有兵权，还深得士兵爱戴，这简直台可怕，这不就是当时的宋太祖吗？他还给宋仁宗提出建议，让皇帝夺去狄青的兵权，只让他做个地方官就可以了，以绝后患。

病中的宋仁宗一方面经不住这些文臣的不断上奏，一方面自己病重身体弱，很是担心王权旁落唐志忠。宋仁宗妥协，狄青被免去枢密使职务，被调离京城出任陈州知府。不明不白的狄青离开了他所忠于的朝廷，离开了他挥洒热血的军队，愤懑而又抑郁地度日，再也没有了驰骋沙场的豪情与荣光。嘉佑二年，狄青因生毒疮，离开了人世。说他死的冤，但是并不准确，因为是得病而死，并且宋仁宗也没有真正的否定他，但是最终抑郁而终，壮志未酬，也确实可惜，要怪只能怪当时的时代，重文轻武，劳苦功高招人妒。