徽宗当时由于不懂，并没把这些材料太当事。太后崩世前，又专门告诫他，“要特别重视皇城司的管理和作用的发挥啊。有了这个机构，你才能洞悉朝廷内外、全国上下内外的动态和情况，也才能真正掌握官员们特别是朝廷重臣的一举一动，实现以静制动、以一当十，御敌于千里之外。”
可惜，徽宗一直不知道怎么发挥这个特殊部门的作用。尤其是太后崩世后，徽宗由于讨厌任忠义，所以凡是任忠义要到皇宫觐见皇上，徽宗都不想见。到皇宫觐见皇上，这是皇城司特有的资格和权力，也是为了保密的需要。此前，皇城使可以随时随地觐见皇上，是不需要事前报告的。由于徽宗不待见任忠义，甚至是很烦他，任忠义也就很少再要求觐见皇上。特别是他的自身安全，自己登基，就一直由张大山负责，还有杨光华这个没有名分的贴身护卫。
直到曾布任宰相时，派人跟踪皇上派出的人；徽宗外出观看歌舞被跟踪、云南苗家策动叛乱等事件发生后，徽宗看到了皇城司的报告，方才感到了皇城司的重要性。
可徽宗很不喜欢、甚至讨厌那个皇城使任忠义。从第一眼看到他，徽宗就觉得他不顺眼。任忠义个子不高，虽说走起路来虎虎生风很有气势，并且据说会点武功，可那张刀面脸、三角眼、两撮眉毛又粗又短，黑壮的胡子长了一脸，让人看着就恶心；可他又傲气十足，两眼阴沉吓人，每次来向徽宗汇报工作，说话总是不冷不热的，徽宗看到他就心烦，再听他又粗又沙又压抑的说话声音，脑门就吱吱作响，恨不得让他立马出去。好在，后来杨光华的职责明晰之后，不管谁来，都要先经过杨光华同意才行，任忠义来的次数就越来越少了。皇城司的事都改成了书面汇报。
徽宗很不明白，哲宗为何要用这么个人，担任这样重要部门的最高长官？并且，据说哲宗还非常喜欢并且很是器重任忠义。
任忠义是哲宗生母、神宗皇后朱氏的弟弟。为何朱氏的弟弟却姓任呢？原来，朱氏是开封人，共有三个爹。生父姓崔名杰，平头百姓一个。朱氏半岁时，崔杰因病去世；母亲带着她改嫁给了朱士安，她便随继父姓了朱；但受当时世俗及宗法礼教的影响，母亲将她托付给姓任的亲戚抚养，这便是她的养父。任忠义就是她养父的小儿子。十六岁那年，在朝廷选秀时，朱氏被选入皇宫，因长相精致亮丽、且温婉贤淑，当晚即被神宗宠幸，仅几年时间就荣升为贵妃。虽然朱氏的三个爹都是平民，但母凭子贵，哲宗即位、朱氏被封了太后，她的三个爹便分别被哲宗封为太师、太傅、太保，这可都是最高级别的正一品。任忠义正是凭他爹的正一品待遇，被朝廷特招当上了皇城司的中级官员。不到三年，就升到了皇城使。哲宗对他的宠爱和信任，由此可见一斑。
按说，徽宗跟哲宗的兄弟感情颇深，又是继的哲宗的皇位，即便是爱屋及乌吧，也该对任忠义有点喜欢和关照吧？可徽宗却怎么也找不出喜欢他的理由。而徽宗呢，又是那种只要不喜欢，就不想搭理的性格，所以，他就越来越烦任忠义，还曾多次跟杨光华说起过。只是碍于哲宗的面子，才一直让他坐着位子。
“是该让他挪挪地方了。”徽宗想了半天，终于自言自语地说出了这句一锤定音的话。