杨林回洛阳之后，王生等人都收敛了很多，奈何朝上三公失了两位，如今木已成舟，杨广身为天子，杨林也不好过分斥责，无奈只得请命留在了洛阳。
赶赴曲阜的王盛国归来之后一顿添油加醋，最后才取出了先帝遗诏，杨林当堂便没有好脸色，训斥了王盛国之后将诏书上呈给了杨广。
杨广连忙起身，接过看了许久，不知心中何想，最终挥了挥手道：“即有先帝遗诏，此番非尔之罪，王御史受累，着升为吏部从三品侍郎中。”
王盛国谢恩退下，杨广当即谏道：“老臣认为儒官只需不结朋党，陛下仍当重用之，当世教化不可荒废。”
杨林乃是杨广叔父，杨家嫡系，其言语众士族无人敢违，早朝草草结束，杨林一人回到了王府，当天喝的大醉，一个人在书房之中掩面哭泣，连呼先帝名讳。
如今大隋外有仇敌，内有兵乱，内外交困之时杨广却自断双臂，大厦将倾，杨林虽然勇武仍难免心中之悲痛。
公元615年秋，突厥可汗进贡金银十万两，牛羊数千头，拜杨广为圣可汗，杨广闻之大喜亲自前往，不想被突厥可汗围困于雁门关外。
好在杨宇率九龙卫拼死护卫，最终九龙卫战死大半，只剩两支队伍护着杨广归来。途遇李渊率众救驾，击退了突厥叛军，自此臣服大隋大数年的突厥也不再进贡。
杨广回到洛阳之后因李渊救驾有功封其为唐国公，随后杨广便不再理会朝政，意志消沉，仿佛一下失去了雄心壮志，不顾杨林反对，公元615年末杨广再下江都。
时任长安牧守的杨太感，听从谋士李密建议，率兵围困洛阳，准备截断杨广的归途，打响了士族起义的第一仗。
杨广南下之后，杨林率众前往河南等地平叛，洛阳城中只有韩擒虎率五万大万留守，面对两倍于自己的杨太感，韩擒虎固守高城，以逸待劳。