一九八零年十一月，杜聿明七十五岁，他当年为国民党打天下，失去了一个肾，如今另一个肾支持不住了。他住进医院里。在医院里拖了半年，一九八一年五月七日，他终于死去，死前以不能重见在台湾的四个儿女为恨。他最后说，若生不能见，死后儿女能来奔丧，也是好的。可是，在他死后，这一最后希望，也被无情的国民党粉碎。——国民党不准他在台湾的儿女出境，什么生见最后一面、什么死后奔丧，都成泡影了！
国民党在台湾，把杜聿明家属当人质，历史是悠久的。其中受害最大的，是杜聿明的二儿子杜致勇和三儿子杜致严。在曹秀清去美不归后，杜家兄弟的处境也就益发艰难。不能出境不必说，即使是基本生活与职业也备受干扰。杜致严辍了学，去开计程车；杜致勇力争上游，所受干扰尤多！找任何职业，都被“安全考虑”；甚至把房子出租，房客都要被管区警察半夜查户口。杜聿明黄埔一期的老同学黄杰等人虽然走红，可是无情与冷眼都是一样的，一点也不肯帮忙。最后逼得杜致勇放弃土木工程专家的职业，学非所用，为保龄球钻指孔终老。杜家的二女儿杜致义、三女儿杜致廉在台湾的处境也好不到哪里去，甚至她们嫁了人，连下一代出境，都遭到麻烦。大小姐杜致礼早年留美，嫁给杨振宁，算是早脱了樊笼的，不过一九五二年返台那一次，就被蒋介石扣留过。其中经过，一九七二年七月一日，香港《春秋》杂志有《杨振宁、杜致礼闪电结婚记往》一文，曾有报导。由这个例子看起来，蒋介石对扣留人质，是多么感到兴趣。他这种残忍的心态，说穿了，其实是一种病。
为什么是病呢？因为照现代标准，一个将军，只要尽过全力作战，在尽过全力仍不免于战败的时候，他可以有所保全，而投降。这种将军，他回国后，仍旧是英雄、仍旧被当作英雄般的欢迎，所以如此，就是大家真的相信人可以不做无谓的牺牲。孟子说：“可以死，可以无死，死，伤勇。”就是这一道理。当然，这并不是说，当事人死是错的，而是说，死不死是他个人的选择问题、是他个人的自由意志问题，而不是别人或统治者代为选择的、代为强制的。硬定一个取舍标准，去教人肝脑涂地，不是合理的要求、也不是人道的要求。
但是，自己战败不死在首都南京的蒋介石，他落伍的大脑却不这样想。他总想别人为他做文天祥，才感快意。因而一律要求别人临难死节。职此之故，纵使他的手下，为他卖命多年、受苦多年、家破人亡多年，他仍然要为已甚，不准别人亲人团圆！手下戎马半生、又坐牢半生，难道还不够吗？答案是还不够！手下被敌人惩罚后，难道还要被自己人惩罚吗？答案是还要罚！这就是蒋介石的新三纲五常标准，——他强制别人做烈士，用心之苦、无情之烈，竟一至于此！
杜聿明是“天子门生”，他未能达到亡国天子的临难死节标准，为天子所不谅，但是，杜聿明对蒋介石以及所有逃到台湾的师长同学，他是洵无愧色的：没有我在前线殊死战，你们能在后方开小差吗？没有我在大陆十多年牢狱之灾，你们能在台湾享三十多年清福吗？你们一个个都是贪生怕死的革命军人，你们在台湾庆祝全家福之余，又有何脸面，苛责我家破人亡的杜聿明呢？