脑筋的李纲还死命劝自己不走，说自己一走军心涣散，应天一失，江淮告急，半壁江山将沦为金人之手，祖宗社稷将沦陷云云。自己一怒之下赶走了他，不走？难道沦为金人的俘虏吗？自己好不容易成为漏网之鱼，难道要步父兄的后尘么？半壁江山没了，那不是还有半壁江山么？总好过自己死了，什么都没有的好。
他南下去了扬州，应天府很快没了。扬州呆了没多久，金人又来，他便继续南渡前往镇江，之后辗转到了杭州。在杭州，他也没过几天安生日子，先是苗傅和刘正彦两个领军的混蛋作乱，逼自己退位。幸亏自己机智假装顺从他们退位，为韩世忠张浚刘光世他们勤王争取了时间，这才得以复辟重新登基。这件事也让他长了个教训，那便是，这些领军的武人是不能够信任的，兵权在他们手上，随时能威胁到自己的皇位。金人没有放过他，他们渡江来了，自己继续逃跑，从杭州逃到越州，又逃到明州，再到定海，甚至有一两个月不得不乘船漂泊在海上。大海茫茫，他又晕船，每天吐得搜肠刮肚，每天浑浑噩噩。有那么一些时候，他甚至想投海自尽，一了百了。然而，他想起了自己的数次死里逃生的经历，他想起了自己认定的天降大任的老天庇护，他也舍不得自己这个皇帝的位子。他咬着牙坚持着，