1949年4月，在人民解放军准备渡江南下时，国民党政权已处于风雨飘摇之中，华南各地都在积极准备迎接解放，其中也包括余汉谋的旧部罗梓材。
在那段时间中，罗梓材等人成功与中共方面取得了联系，想利用他们与余汉谋的老交情，发动起义或者设法保全广东，以迎接解放。然而，就起义这件事，时任广东绥靖主任的余汉谋却没有同意，他对罗梓材说：
“这是谈何容易的事，且不顾念自己的历史问题，即对那班特工人员方面，行动上也有许多危险。只有将李振球的六十五军调回广州，有了可靠的兵力之后，在有利的条件下，才能考虑这些问题。”
说到最后，余汉谋叹息道：“到时候我不抵抗，自己走就算了。”
随后不久，解放军很快便兵临广州城下。看到眼前的局势，余汉谋正如他前面所说的那般，放弃了广州。他一枪不发，节节退却，既不起义，也不抵抗。
但其实，这个时候余汉谋的内心是十分矛盾的，他也曾想过挣扎到底，但他又深知自己无法对抗解放军，所以到最后，他索性自掏腰包，发放三个月薪水的遣送费，把其绥靖公署的职员分批解散，让他们各自逃跑了。而余汉谋自己，也于10月13日从虎门坐海轮去到了海南岛。
彼时的海南岛，在如此混乱的情势下俨然成为了国民党军从大西南逃台的空中航线中转站，这个一向被南京方面冷落的中国第二大岛顿时热闹了起来。
余汉谋抵达海南岛后，自动请求取消了自己广东绥靖主任的头衔，并表示自己愿意当薛岳的副手，协助薛岳在海南岛做最后的挣扎。但其实，余汉谋和薛岳都明白，自己离开这里也只是时间问题罢了。
果然，在1950年4月16日人民解放军渡过琼州海峡，国民党军一触即溃后，余汉谋跟着薛岳等人均逃去了台湾。在台湾，余汉谋如一个透明人般，度过了其悲凉的晚年，且再也没能回到大陆。
余汉谋，字幄奇，1896年出生于广东省高要县的一户官宦之家。其父余起鹏是清末秀才，曾任广东地方县政府职员，后来民国成立，失去了职位的他便一直赋闲在家，与妻子一起养儿育女。所以说，余汉谋的家庭教育其实是不差的，而这也是他自幼好学的根本原因。
6岁时，余汉谋开始进入私塾读书；9岁时，他又进入了县小学读书；14岁时，成绩优异的他成功考入了广州黄埔陆军小学。到了1916年，余汉谋考进了保定陆军军官学校步兵科第六期，成功与邓演达、顾祝同、张发奎、叶挺等人成为了同学。而这，也是他军旅生涯的起点。
1918年，余汉谋从保定军校毕业后被分配到了皖军中当步兵排长。次年，余汉谋又被调回广东，进入了粤军魏邦平的第三师任第六连连长。随后，广东又发生了“陈炯明叛变事件”。在此次事件中，余汉谋是否参加了军事政变我们不得而知，但他作为中下层军官，应该是没有主动参与的动机的。
1925年7月，国民政府在广州成立后，驻粤各部队统编为国民革命军，统一受国民政府指挥。其中，粤军第一师扩编为国民革命军第四军，第二旅扩编为第十一师。而余汉谋也在这时被任命为第十一师第三十一团上校团长，从此走上了国民革命的道路，深受蒋介石的重视。
1937年全面抗战爆发后，余汉谋就任第四战区副司令长官兼第十二集团军总司令，负责指挥闽、粤两省军事。且在此后一年的抗日战争中，他奉蒋介石的命令，曾先后派出所部四个军的兵力赴上海、南京、陇海、赣北南浔线等地区参战，为抗日战争做出了巨大贡献，但大部分官兵也都牺牲在了抗日战场上。
就以上这一系列战事来说，余汉谋无疑对抗日是有功的，但也正是因此，使得余汉谋沉浸在自己的功劳之中，大意之下丢掉了广州。
1938年4月，余汉谋得到消息称：日军在台湾集结海陆空7万余人，准备对广东大举进犯。于是，余汉谋开始全力以赴地布置防御，在各地建造工事，一副准备抗战的景象。但在不久之后，余汉谋却又收到了一份情报，说日军改变战略，已经将主力师团调往长江地区作战。
之前说来，现在却又不来了。这让紧张无比的余汉谋松了一口气，应战警报纷纷解除，广州各界也逐渐恢复了歌舞升平的景象。可是，就在半年之后，意外发生了。
1938年10月上旬，日军为策应武汉会战，牵制中方华南兵力，并切断中方从内地经广州至香港转往海外的国际联络线，集结在澎湖列岛的7万余兵力，大小舰艇30多艘，飞机60架，开始向广州发起袭击。而此时，广东仍在歌舞升平之中，毫无应战准备，结局也可想而知。
日军从大亚湾登陆到占领广州，仅用了10天时间。
当时，国民党驻粤军队有13万多人，且还有地方武装可以配合，却在短短十天之内陷于敌手，这大大地激起了粤籍国民党元老、将领、华侨对蒋介石、余汉谋的不满和谴责。一时间，舆论满天飞，蒋介石也感受到了来自内部的压力，为了消怒，他最后撤去了余汉谋的职位，并记一次大过。
可尽管此时的余汉谋已经被撤职，但因为抗日战场缺人的原因，蒋介石之后还是启用了余汉谋，让其率部继续与日军作战。值得一提的是，在抗战8年中，余汉谋部曾前后参加了江苏、河南、江西、湖南、广西等各省的抗战，有力地支援了各省友军作战，也为抗日战争作出了不小的贡献。
1945年8月15日，日本宣布无条件投降，余汉谋与民同庆，以为终于可以重返广州了，并通知司令长官部的参谋人员，让他们随时做好接收广州的准备。然而事与愿违，远在重庆的蒋介石对于余汉谋部却另有打算。
什么打算呢？蒋介石把原本属于余汉谋的广州各地区，全部划到了张发奎的军事委员会委员长广州行营辖区内。
对于蒋介石的这一举动，余汉谋所部官兵都非常气愤，大骂蒋介石过河拆桥，但余汉谋仿佛看透了一般，对自己部下说道：“抗战已经胜利，洗雪了我国甲午以来50多年的奇耻大辱，我们的任务已经完成。此后大家如能团结一致，尊重总理遗训，做个老百姓也是光荣的。”
为了安抚愤愤不平的官兵，余汉谋还拿出了部队大部分的公积金以及可以公开变卖的东西，统统分发给将士们，以防蒋介石一旦解散粤军，也好让这些军官们可以靠着这些自谋生计。
等时间到了1946年初的时候，余汉谋所担心的事果然发生了，蒋介石不仅下令撤销了余汉谋的第七战区、第十二集团军，另外还将余汉谋所指挥的第六十三军、六十五军和闽粤边区部队全部调走了。而这，也使得余汉谋苦心经营20余年的粤系军队全部被打散，余汉谋本人也成了光杆司令一个。
费尽心思削弱部下的权力，可以说是蒋介石惯用的伎俩了。在削弱了余汉谋的权力之后，为了安抚他，蒋介石不仅将余汉谋晋升为了二级陆军上将，还给了他一个叫做“衢州绥靖公署主任”的职位。但其实，这所谓的“衢州绥靖公署主任”只是一个虚职而已，其主要工作内容也仅是帮蒋介石看护浙赣铁路。
后来到了1948年5月，余汉谋又被蒋介石提任为陆军总司令。“陆军总司令”一职，虽听起来吓人，但其实也是有名无实，根本没有实权。对于这一职位，余汉谋也没有多说什么，慢悠悠地就上任了。
余汉谋本身非常识时务，他知道就连何应钦、顾祝同等人也不过是充当高一级的“传声筒”而已，更别说他这样一个被解除兵权的非嫡系将领了。所以在其上任后，就整天摆出一副清心寡欲的样子，整天赋闲在家，无所事事。后来他回忆说：“在这段时间我是饱食终日，无所事事，什么都不想，也不容我想。”
1949年1月，蒋介石在下野前终于将余汉谋调到了广州，并任命其为广东绥靖主任。能回到广东，余汉谋非常高兴，他对蒋介石和南京政府已经烦透了，他后来曾不无愤慨地对朋友说：
我以前没有做过京官，很少接触党国要人，总以为他们对国家大事会有一套办法。去年我在南京搞了几个月陆总，和他们接触多些，才使我认识到这班官僚饭桶，二三十年来，他们除了树立私人势力，争权夺利，对国家大事确实毫无办法，根本谈不上为国家人民做好事。
照我看，只要共军渡过长江，势必马上解体，可以肯定是无法再坚持下去了。
在广州不久之后，随着解放军的南下，余汉谋也去到了台湾。
在台湾，余汉谋被晋升为“陆军一级上将”，并被任命为“总统府”战略顾问。到了1952年，余汉谋又被任命为国民党“中央评议委员”。
在这段时间中，蒋介石给余汉谋的虽然都是虚职，并无实际工作可做，但余汉谋仍乐于接受。环顾四周，大陆时期国民党军界高官元老，包括蒋介石的嫡系将领何应钦等人也都赋闲在家，像他这样非嫡系一向受排挤的粤军将领，还能有什么奢求呢？
后来，余汉谋为了躲避政坛纷争，避免蒋介石父子的猜忌，他干脆就搬到了台北的北投郊区居住。在这里，他平时除了偶尔出门在近处游览一番外，每天还以欣赏名人字画和读书看报作为消遣，俨然过着“种菜未容终老去，赌棋时约故人来”的闲适生活。
余汉谋的一生中曾有一妻二妾，夫人上官德贤是他在保定军校的同学上官云相的妹妹，另外的两个小妾分别叫吴桂琼、林秀珍。另外，余汉谋还有四个子女，他们后来也都得到了良好的发展，四人皆先后赴美国攻读学士学位和硕士学位。
长期的在台生活和儿女们的在外求学，使得晚年时期的余汉谋也不免空虚了起来。妻兄上官云相看着整天愁眉苦脸的余汉谋，便好言相劝建议他加入佛教，好有一个精神寄托。但因为余汉谋不信佛教，所以没有答应上官云相，而是与其夫人一起皈依了基督，成为了一名虔诚的基督教徒，以企求上帝赦免他以往犯下的罪孽。
于是，余汉谋每天有了固定的生活习惯，那就是到教堂中去唱圣歌、做祷告，他像军人一样严格遵守时间，风雨无阻。
1975年蒋介石的去世，对于余汉谋的生活并没有什么影响，他的时钟每天照常运转。到1980年4月4日，台湾当局为纪念蒋介石去世五周年，举行了一次纪念典礼。而在这一次的典礼上，余汉谋作为军界元老被邀请出席。
当时虽是春天，但阳光却是很毒，且会场上也没有可以遮挡阳光的帐篷。就是在这样一个环境下，85岁高龄的余汉谋全身戎装，在太阳下正襟危坐了两个多小时。也甚是因为这一次的爆晒，使得余汉谋出现了体力不支的情况。
典礼结束后，余汉谋刚一到家被感到胸部不适。于是，家人们当即便将其送到了“荣民总医院”，经检查，发现余汉谋得了肺癌。自此，余汉谋再也没有离开过病床。
患病后，余汉谋对大陆老家的思念更甚以往。1981年，余汉谋在香港的姐姐余淑贤提出，要返回大陆定居。余汉谋从病床上听到这个消息后，非常高兴地说：“落叶归根是对的，我支持你这一行动，如果有什么困难，可以帮助解决。”并马上派他的第三夫人林秀珍从台湾去往香港，帮助余淑贤办理返回大陆的定居事宜。
此时的余汉谋虽然身患癌症，但仍旧忍着疾病的痛楚作了周密考虑和安排。由于余淑贤曾遭遇车祸，行走困难，余汉谋便让三夫人林秀珍给姐姐购买了轮椅及回国后所需的一切生活用品，并支付一笔预备金，作为今后姐姐生活的一切开支。
那时，余淑贤已经98岁高龄了。他在余汉谋的大力支持下，终于在1981年年底从香港回到了广州。在广州，余淑贤又在当地市委领导的帮助下，解决了房屋问题和办理有关定居事项。当她搬进广州市东山百子横路的旧居时，曾十分动情地表示：
感谢共产党和人民政府的照顾关怀。
可惜的是，余汉谋已经无法看到这一动人的场面了。
1981年12月27日，余汉谋终因癌细胞扩散，带着对故乡的思念离开了人世，终年85岁。
