司马师并没有就此罢休，他认为曹芳参与了此次谋划，对自己构成了威胁，于是决定废除曹芳的皇位。同年七月，司马师之弟安东将军司马昭带兵入京，准备去攻打蜀国。曹芳左右亲信劝他在司马昭辞行时杀死司马昭，再派兵击败司马师，并已将诏书提前写好，但曹芳因惧怕司马氏的势力，最终没有执行。
司马师见曹芳如此懦弱，更加坚定了废除他的决心。随后，司马师联合公卿中朝大臣上奏郭太后，言及曹芳年长不亲政、沉迷女色、废弃讲学、弃辱儒士、与优人、保林等淫乱作乐并弹打进谏的清商令令狐景、清商丞庞熙乃至用烧铁重伤令狐景身体、太后丧母时不尽礼等罪，请依霍光故事废曹芳的帝位。郭太后无奈之下，只得许可。
曹芳就这样被迫退位，他搬出洛阳，在河内郡重门营建齐王宫，所有礼仪制度都如同诸侯王的封国。朝廷通过商议，决定改立高贵乡公曹髦为帝。曹芳的皇帝生涯就此结束，他从一个高高在上的帝王，沦为了一个无权无势的藩王。
此后，司马氏的权势在曹魏日渐强大。泰始元年（公元265年），司马昭之子司马炎篡魏建立晋朝，曹芳被改封邵陵县公。泰始十年（公元274年），曹芳在孤独与落寞中去世，享年四十三岁，谥号厉公。
曹芳的一生，是充满悲剧色彩的一生。他虽贵为皇帝，却从未真正掌握过权力，始终在权臣的操控下挣扎求生。他试图反抗，却因自身的软弱和实力的悬殊而失败。他的故事，成为了中国古代皇权旁落、权臣当道的一个缩影，也让后人看到了在权力的漩涡中，人性的脆弱与无奈。