杨广一高兴，就忘乎所以，不住的向杨素家里派御医来，问寒问暖，不住的开药方，把杨素看得害怕，知道杨广没安什么好心，是生怕自己的身体再恢复过来了，心里不住的打鼓，皇上赐的药，不吃吧，大不敬；吃吧，明知道药里下的有毒，等于是慢性自杀。想想杨素就特别伤心，左右为难，叫来自己的弟弟智多星杨约商议对策。
这杨约原来是个丧失性功能的半个男人，最是诡计多端，杨素有不明白的事情，都是找他商量，当初建议杨素巴结独孤皇后和杨广，废掉太子杨勇，就是他。这兄弟俩因为拥立杨广当皇帝有功，都被封了大将军，其实杨广对这哥俩一向是防备的，只是没有找到合适的机会除去，才隐忍不发。
杨约来到哥哥的病榻前，看到哥哥奄奄一息的样子，一代枭雄杨素今天竟落到这个地步，不住的唏嘘短叹，埋怨哥哥不早做准备，到现在束手无策，等待别人摆布，连一点反抗的余地都没有了。
杨素的身体一不好，杨广乘机把他的兵权给收了回去，现在代替杨素出任兵部尚书的是两朝元老苏威，担任京城警备司令的是宇文述，都是杨广的死党，杨素就是想反，也没有机会了，只有一天天等死。
杨约看他病痛得难受，浑身生了不少的疮，就劝他说：“哥哥，就吃一口药吧！”
杨素摇摇头说：“不吃，我这样还能多喘一口气，吃了药，可能立即就见阎王了。皇上啊皇上，你好狠毒啊，悔不该违抗先皇之命，辅佐这样狼子野心的人登上帝位，我助纣为虐，该受到报应啊!”说完大叫几声，就内火攻心一命呜呼了。
杨素的儿子玄感看在眼里，心里已经腾起滚滚怒火，发誓此仇不报，誓不为人。
杨广在第一时间得到杨素去世的消息，心里那个兴奋啊，简直要颠了，手舞足蹈的，吩咐手下的宫女、太监们：“快拿酒来，我今天要好好喝个痛快，十几年了，被这老贼折腾得夜夜睡不着觉，总感到脖子后面悬了一把剑，这样的滋味太难受了。现在好了，没有任何人可以打扰我的美梦了，今后我想怎么玩就怎么玩，谁也别想说一个不字！”