更为阴险的是，明明是谢方叔本人在背后支持云顶山的姚世安和余玠对抗。到他这里又变成余玠因私自往利州府安插亲信，导致利州军民发生了骚乱。而之所以没有发生大的动乱，那是因为他谢方叔让其侄子在云顶山城不断的安抚，调停。
在宋理宗看来，余玠作为一个边疆大吏，诛杀一两个跋扈的边将是不算什么。但是，谢方叔那句“诛杀异己，安插亲信”，却触到了他内心的红线。
古往今来的帝王们，对这些事都是讳莫如深。多数是宁可信其有，不可信其无。
正常情况下，他可以把余玠找来查证，奈何余玠身处千里之外的重庆府，去一趟临安府路上最快都要花费半个月。莫说此时余玠不知道谢方叔的诋毁，就算知道，他又如何以抱病之躯为自己申辩？
诋毁完余玠之后，谢方叔继而又打了个圆场，假惺惺地向宋理宗进言道：“余玠经营川蜀十多年，虽然有如此过失，但多年来还是有功的。陛下何不将其召还京城，以听其当面陈诉。如若余玠奉召前来，此时仍不失为一片赤胆忠心；如若余玠托辞不来，那余玠不臣之心已昭然若揭。为此，陛下应早做决断！”
几日之后，谢方叔见宋理宗还在犹豫，没有召余玠还京的意思，遂找到参知政事徐清叟，让这个和他沆瀣一气的家伙，找机会激宋理宗一把，将余玠给拖下水。