太监灵宝一下掉价，他百思不得其解，当朝的皇太后不做，却要做个什么“元祐太后”。想想自己真是不值，为了孟氏的名誉、地位，恐吓宫女，举证张邦昌入居延福宫、亵渎宫女事实，为了孟氏能够平安无事、安然无恙，他逼迫宫女写下了遗言，自杀身亡。是如今，孟氏什么也不要了，她喜欢过宁静、舒适的日子，而灵宝呢？跟着成为一个无用的太监，他和废人没有半点区别？灵宝越想越伤心，越想越难受，夜深人静之时，取来七尺白绫，自缢而死。
高宗在半壁江山坐稳了之后，便来兑现自己跟主战派曾经有过的承诺：着手处理黄潜善和汪伯彦的事情。
黄潜善贪恋禄位，他厚不廉耻地上疏称：“艰难之时，不敢具文求退。”想不离开高宗左右，因为他认为自己为高宗贡献了太多，为高宗的南宋朝廷倾注了太多的心血。他还以为小枚能够帮上忙。想消费着痴情女子的感情。岂不知自己造孽太深，以无药可救。高宗不能再迁就小枚了。要知道迁就意味断送半壁江山，甚至是人头落地。现在唯一能做的就是看在小枚的面子和黄潜善跟随自己多年的情份上饶他不死。可是黄潜善还不死心，不想退出历史舞台。这样对他的打击太大了，他是个嗜官如命之人，没有了官位，就等于要了他的狗命，他与汪伯彦一起上疏高宗，请求自己不离开高宗的左右，讲他们之间的友谊，三人之间怎样跨过那一道一道的坎，讲到伤心处，三人声泪俱下、痛哭流涕。 这时候，韩世忠求见高宗，高宗见韩世忠将他们与金国人一起陷害李纲的人证、物证要当面对质的时候，他惊吓住了，要是被勤王的将领知道了此事，那还得了，高宗再也不去考虑汪、黄二人的感受和他们三人之间情谊了。泪水改变不了目前的困境，他要韩世忠对这件事情高度保密，韩世忠无可奈何地点了点头，但是要高宗迅速处理汪、黄，不能再拖了。否则，事情还会闹腾。
高宗从苗傅和刘正彦要另立皇帝的事件中,已经完全意识到了，留下黄潜善和汪伯彦对朝廷已经没有一丝裨益，只会带来更大的危害。现在自己无力保住他们，更不能将二人留在朝廷。强行为之，南宋朝廷就会颠覆。而且他们的命运也会更加悲惨。高宗将目前情况摆明，要他们自己定夺，二人觉得在理，无有话说，只求高宗还能够想到他们亦可。 然而朝廷中丞张澂弹劾黄潜善和汪伯彦 条大罪，朝野都认为扬洲大溃退的罪责应当归在黄潜善和汪伯彦身上，高宗对这件事情，确实有不满之处，对金兵的情况隐瞒不报，不早定策略以至招来金兵之侮，让自己吃尽了苦头，这两人确实是虚伪奸诈、误国误民。于是，汪伯彦被黜，居永州（今湖南零陵）。把黄潜善贬为观文殿大学士，知江宁府(今江苏南京)，旋又削职居衡州(今湖南衡阳)。郑珏继之上书，说黄潜善的罪恶比汪伯彦更大；王廷秀也跟着上书切责，才勒令安置英州(今广东英德)。谏官袁植请求将黄潜善处斩，高宗不答应，想起黄潜善为自己的皇帝位置和南宋朝廷做了许多事情，背负了许多骂名，为了高宗，黄潜善还贡献出心爱之人。故而将黄潜善改置梅州(今广东梅县)。
一连串的贬谪和打击，让黄潜善摧胸破肝、痛苦万分，想想自己的人生轨迹和悲切后果，真是伤痛欲绝、回肠九转。甚至希冀高宗哪天能再次召回自己，为朝廷出力！
金军南下后，南宋已经组织不起来像样的抵抗，州县官员弃城而逃的甚多。这一年，李纲46岁，陪伴他踏上漫漫长路的，惟有次子李宗之，抵达琼州三日 忽蒙“天恩”赦免，这次突如其来的赦免，与高宗的某些思想转变有关。
这年初，金军大将马五率骑兵五千，奔袭扬州，一心要活捉高宗。高宗完全乱了阵脚，于二月初一下令官民自行逃避。又将皇子与六宫送至杭州。到了初三日，金军已离扬州百里，高宗惊得魂飞魄散，带领数人，身着甲胄飞马出逃，渡江跑到了镇江。
金兵如果再追，大宋很可能就会有第三个俘虏皇帝了。多亏宝应县（今属江苏）的官绅发动当地百姓起兵抗金，使占领扬州的金军深感不可久留，迅即回撤。这才躲过了一劫。高宗还朝后，也许是痛定思痛，想起了李纲当宰相时的好处。要不是因为自己害怕失去皇位，哪里会出现这样的结果?如果自己是名正言顺的皇位继承者，而不要顾忌父、兄的夺帝之忧，自己一定会重用李纲坚决抗金的。于是良心发现，李纲对宋朝廷确实是忠心耿耿，自己和黄潜善等人与金人合谋设计陷害李纲，真是太过分了。都是因为自己恐惧没有皇帝做，怕钦宗问罪，加上自己处处顾忌皇帝的面子对李纲那耿直的性格无法接受。这是自己自私的体现啊。就因为这样，自己把他贬到海外，实在不该，想到此，连忙下诏赦免。这个迟来的赦免，使李纲的这一路折腾，更像是遭受了一次恶作剧式的惩罚。这真是喜不得、悲不得，惟有慨叹而已！李纲父子听到赦免的消息后，并没有马上返回，而是在海南逗留一个多月，在这里他写下了忧国忧民和自己感怀人生的许多诗词：古来云海浩茫茫，北望凄然欲断肠。不得中州近消息，六龙何处驻东皇？胡骑长驱扰汉疆，庙堂高枕失堤防。关河自昔称天府,淮海于今作战场。退避固知非得计，威灵何以镇四方? 中原夷狄相盛衰，圣哲从来只自强。诗中叹惜自己抗金的政治主张不能实现，使国家的局势更加恶化，增加了老百姓的苦难，对当时的卖国投降分子进行了尖锐的讽刺。最后表示了他的奋发图强、抵抗侵略的坚定信心。也抒发了自己的悲情人生。但他又想，自己比苏东坡毕竟是幸运多了。苏东坡在这边陲之地的儋州，寂寞生活了三年之久，在踏上琼岛土地之后，自己又何尝没想过，将怎样苦度这样漫长的时光。现在看来，倒是“萍梗追思却自惊”了。他兴奋之余，写下了两首诗以言志，其中一首云：行年旧说是东坡，鲸海于今亦再过。儋耳三年时已久，琼山十日幸尤多。却收老眼来观国，尚冀中原早戢戈。病废不堪当世用，感恩惟有涕滂沱！
李纲父子渡海北归了。这天，正遇到冬日无风的好天气，水天一色，犹如蓝莹莹的琉璃。归乡的心情，极为美好，李纲在船上吟咏道： 纤云四卷日方中，海色天光上下同。身在琉璃光合里，碧空涵水水涵空。
别了，海南！李纲奔走平生，早已厌倦了在贬途上无谓地耗费生命。但是“暮年”时乘船浮于海面的经历，还是令他大有触动：自己在浩茫的碧海中，一个人是显得多么渺小啊！