不久之后，林灵素又碰到了一件让他非常难堪的事。林灵素几乎每天都骑着青牛出入于皇宫。有一天，一个道士来皇宫大院门口，说要见林灵素。林灵素让卫兵把他带到垂拱殿，很是傲慢的问道，“你是何方人士，要来见我？”
那人回到：“小道跟道长是温州同乡，小道有一小术，愿在您面前一试身手，请您看一看灵不灵。”
林灵素本就对这个人不屑一顾，听他这么一说，反而激起了他的好斗心理，再加上他自来京师受到皇上高度尊崇以后，早已迷失了自己，自认为天下没有人能跟他争雄，所以他就洋洋自得地同意了那人的要求。当时徽宗还没到，只有杨光华看着他们斗法。两人眼看着那人掏出一个小铜炉，到门外捧来一捧土，放到桌子上，又让一旁的小太监取来了一杯水，把水倒入土中，然后用铜炉又盖在喷了水的土上。
正这时，忽然听到杨戬喊道，“皇上驾到！”
林灵素和杨光华，到门口迎接皇上，可转身一看，那人竟不辞而别了。却也没看到究竟从哪里出去的。
徽宗一走进大殿，便闻到一股浓烈的香气，就问：“这是什么香味？这么好闻？”
林灵素回答说，“就是平素所焚之香啊。”
“那你再取一支来点上，这香味好闻得很。”徽宗说。
林灵素不得不到休息室拿来一支点上，却没有香味，一连换了几次，还是没有香味。
徽宗很是诧异，就再三询问，林灵素只得把刚才的事说了。徽宗于是便让人把铜炉取过来。可是任谁去拿，都拿不起来。林灵素亲自过去，双手环握往上拔，可那铜炉却更加牢固，纹丝不动。徽宗觉得好玩，就说：“我来看看。”
说着，徽宗就过去亲自取那个铜炉。本以为那么多人都拔不动，所以就两手握住，用力去拔。谁知手一搭上，就轻松的拿了起来。铜炉下面，还有一张小纸条，上写：“拈土为香事有因，如今宜假不宜真；三朝元老张天觉，四海仙人吕洞宾。”
徽宗对这首诗的其他几句并没多么在意，可是“如今宜假不宜真”这一句，引起了徽宗的高度重视，他从中悟出，林灵素做的那些事儿，看来都不真实。从此，便对他产生了怀疑。
因为徽宗对林灵素非常宠幸，不但林灵素可在皇宫各处随时出入，而且徽宗也经常到林灵素住处去。一天，徽宗又来到林灵素的住处，突然看见，三清阁牌子上方有两行金属的小字，闪闪发光，但因三清阁太高，并且在飞檐之外，隐隐约约的看不清楚。徽宗觉得，这么高，一般人是不可能放上去的。于是便对杨戬说：“想办法，上去看看，那上面是什么东西？”
杨戬让卫兵找来梯子，上去一看，原来是插在瓦缝里的一块铜牌。杨戬将铜牌拔出拿下来给徽宗看，只见上面写着“郑子清居此两月，不得见上而去。”
徽宗就想，这郑子清是什么人呢？他有什么事要见我？为什么又住在这上面，并且还住了两个月呢？他就去问林灵素。
林灵素很不以为然地回道，“一个道士写的，其他情况，臣一概不知。”
徽宗一听，心想，你骗朕啊！就让杨戬把牌子带着，也没进林灵素住所的门就回宫了。
从此，徽宗对林灵素的信任度也明显降低。尤其后来发生的两件事，使得徽宗对林灵素的态度发生了根本性逆转。
林灵素竟然在朝廷拉帮结派，并且为此与梁师成为首的宦官集团争高低。这无异于老虎嘴上拔毛。再就是林灵素还跟上朝的太子争道，不但对太子没有任何恭敬之意，反而怒目而视并且抢先过去，差点把太子撞倒。太子为此向徽宗告状。这两件事，彻底激怒了徽宗。徽宗便在神霄殿痛批林灵素，当即下诏，将其逐出京城，赶回老家。
林灵素万没想到会有这样的结果，从天上掉到了地下。正应了那句：天狂必有雨，人狂必有祸的老话，他的心情可想而知。因受不了这种打击，在被押送回故乡的途中，一命呜呼了……