朝廷商议派将领前去平叛。宇文忻本想举荐自己的心腹去，好借此机会扩充势力，捞取战功。可杨素深知那心腹并无真才实学，若让他去，叛乱恐难平定，便向杨坚举荐了一位更有能力的将领。宇文忻因此对杨素怀恨在心，在后方不断使小动作，拖延粮草供应，散布谣言诋毁杨素举荐的将领。杨素一边要应对前线的战事，一边还要处理后方的麻烦，身心俱疲。但他没有丝毫懈怠，一边安抚军心，一边亲自督促后勤保障，最终成功平定叛乱。这次事件让杨素更加明白，在这复杂的政治斗争中，必须时刻保持警惕，用实力和智慧去应对敌人的种种手段。
晚年时，杨素已位极人臣，可新的敌人又悄然出现，那便是隋炀帝杨广的猜忌。杨广登上皇位后，看着威望和权力都达到顶峰的杨素，心中渐渐生出了不安。杨素此时虽已年迈，但影响力仍不容小觑，他在军中的旧部众多，朝堂上也有不少人敬重他的功绩。杨广担心杨素功高震主，会危及自己的皇位，便开始处处提防。
有一次，朝廷商议修建大运河的相关事宜，地点在宏伟的皇宫大殿内。杨素出于对工程利弊的考量，提出了一些合理的建议，可杨广却觉得杨素这是在借机展示自己的权威，对自己的决策指手画脚。此后，杨广对杨素越发冷淡，一些重要的事务也不再像从前那般询问杨素的意见。杨素察觉到了杨广态度的变化，心中满是无奈和忧虑，深知皇帝的猜忌是最为致命的敌人。为了化解这份猜忌，他开始主动减少参与朝廷事务的频率，还将自己手中的部分权力交了出去，试图让杨广放下戒心。可即便如此，那笼罩在他心头的阴霾始终未曾散去。
还有一回，地方上有官员向杨素请教治理之法，杨素出于多年的经验，好心给予了指导。这本是平常之事，可传到杨广耳中，却成了杨素结党营私、妄图掌控地方的证据。杨广虽没有当面发作，但暗中却派人监视杨素的一举一动，这让杨素的生活变得如履薄冰，做任何事都得小心翼翼，往日的意气风发早已不复存在，只剩下满心的无奈和对未来的担忧。
