王世积每次被召见，谈论军国大事，这家伙就不说话。杨坚便纳闷了，怀疑王世积得了酒疾，只会喝酒了。

这怎么可以，杨坚便把他叫到宫内，要给他看病。王世积一惊，还以为杨坚要怎么着他，把他软禁在宫内，便说自己已经好了，杨坚这才让他出宫。

没想到的是王世积出了宫，故态萌发，日日饮酒作乐。杨坚知道王世积骗了他，开始不喜王世积了。后来王世积跟着征高丽，杨坚就派了好几百人监视他。

知道这件事后，黄明远便准备再次下手。他从虞庆则的事情发现，任何的罪状都不保险，唯有谋反一事，才能引起杨坚的震怒，同时除掉当事人。

正巧，王世积的亲信安定人皇甫孝谐有罪，官吏四处追捕他，黄明远便派人救了他。

黄明远安排的人本来就和皇甫孝谐有旧，便假意称自己身份卑微，照顾不了他，劝皇甫孝谐前去投奔王世积。

皇甫孝谐无路可逃，又心想自己跟了王世积十几年，王世积权势如此之重，必会收留自己。因此皇甫孝谐便在黄明远从人的帮助下前往凉州。可惜，皇甫孝谐万万没想到，这时候王世积正想着韬光养晦呢，哪里肯收留皇甫孝谐。

皇甫孝谐的行踪后来被黄明远安排的人泄露给官府，皇甫孝谐因此被抓，后被流放到桂州，这让皇甫孝谐对王世积大为忌恨。

皇甫孝谐在桂州成为罪官后，过得很不好。桂州总管令狐熙更是对其苛责过甚，皇甫孝谐日日怨怼，认为自己落到这个下场都是王世积见死不救的缘故。

这时黄明远安排的人在皇甫孝谐最危难的时候又出现了。不仅给皇甫孝谐一些物质上的支持，还给皇甫孝谐讲了虞庆则内弟赵什柱的故事。当初赵什柱就因为上告虞庆则谋反而被封为柱国的。

皇甫孝谐听后大为动心，想着王世积既然你不仁我便不义，决定拿王世积来换得富贵。

在黄明远的帮助下，皇甫孝谐不仅将自己侍奉王世积多年手上的材料全都献给了杨坚，还上书说道：“王世积曾让道人为他看相，看看以后会不会大贵。

道人说：‘您应当皇帝。’

又对他妻子说：‘夫人要当皇后。’

另外，他要到凉州去时，他的亲信对他说：‘河西是天下出精兵的地方，可以干大事。’

世积说：‘凉州地大人少，不是用武之地．’”

这些东西让杨坚勃然大怒。杨坚下旨将王世积调入朝中，调查此事。刻薄寡恩的杨坚本来就有打压这些关陇贵族的想法，见王世积成了祸患，便想着除掉王世积。

接着杨坚将王世积下狱，竟然调查到王世积从高颎那里听到了宫闱之中的事情。有关部门也上奏，王世积曾重金贿赂左仆射高颎、左卫大将军元旻、右卫大将军元胄等人。此事让杨坚内心异常不安，认为王世积居心叵测，意图对其不轨。

杨坚不顾众人的劝告，处置了元旻、元胄、高颎等人，又宣布王世积谋反，直接处死了王世积。

而卖主求荣的皇甫孝谐，则被杨坚授予了从二品上大将军的勋位。