谭寿林到广州(简称穗)后，立刻投入新的战斗生活，在那里度过了一段极其艰险的岁月。董必武同志后来用“穗城喋血乌云坠”的诗句对此作了形象的比喻。
1927年4月12日，蒋介石在全国范围内发动了四一二反革命政变，向共产党人和革命群众举起了手中的屠刀。在上海，仅4月12日至15日，就有300多名共产党员和工人运动积极分子被杀害，500多人被捕，5000多人逃亡失踪。4月15日，李济深在广州发动反革命政变，进行“清党”大屠杀。广东工人运动领袖刘尔崧、李森、李亦愚、何耀全等100余人被杀害，2100余名共产党员和工人运动积极分子被捕，2000多名铁路工人被驱逐，全国总工会、香港罢工委员会、广州工人代表大会、香港总工会等工团被封闭。曾为中国大革命之中心的广州，顿时陷入一片白色恐怖之中。
党组织见谭寿林在广西已经暴露，而且刚出狱身体虚弱，就叫他留在广州休养，暂时不安排工作。当时，谭寿林身体有病，心情本就低落，加上组织考虑到他的身体情况，暂时没有给他安排工作，这让之前一直忙于革命工作的谭寿林，心情一下子跌入谷底，产生了悲观的情绪。组织上了解到谭寿林的思想波动后，便重新给他布置了工作：一方面把梧州的工作秘密交接好;另一方面在广州筹建起一个联络南宁、贵县、梧州等地的党团组织、革命团体的联络机构。这一安排让谭寿林立刻又兴奋起来。
4月28日，中国共产党创建人之一、五四运动的伟大旗手李大钊在北京被奉系军阀张作霖绞杀。消息传来，在广州的谭寿林思绪像潮水般涌来。他的脑海里不断浮现出那个熟悉的身影：一袭长袍、两撇黑须、目光深邃、态度从容，在北大与先生朝夕相处的一幕幕也不停地闪现在他的脑海。谭寿林知道现在不是伤心难过的时候，只有化悲痛为力量，完成先生未竟的事业，才是对先生最好的慰藉。他擦干眼泪，振作精神，全身心投入到秘密联络站的准备工作中。
年报纸关于李大钊莫同荣等人被判决的报道
在广州开展革命工作，首先要解决住的问题。当时在广州租房，没有家眷是没法租到的。特别是四一二反革命政变爆发后，广州的形势十分紧张，所以用于秘密联络站的房子必须满足位置僻静、偏远、宽敞这几个条件。经过多方寻找，谭寿林终于在广东国民大学
①找到了一处一厅两室的房子。这个房子完全符合谭寿林的要求，唯一麻烦的是房东要求一定要有家眷来住，不然宁可把房子空着也不出租。这可把孤身一人的谭寿林难住了。他思考了几天，终于想到一个合适的人选。这个人就是在梧州和谭寿林并肩战斗过的市妇联会负责人李省群。她之前就负责联系梧州、广州，知道哪个该接触，哪个不该接触，而且她在梧州就是在谭寿林的直接领导下工作，彼此熟悉，由她来假扮家眷是再合适不过的了。此时的李省群正与丈夫周济的母亲同住在一起。谭寿林找到李省群，不好意思直接说让她做假眷属，而是先和她讲述了自己租房子遇到的困难。刚一说完，李省群就明白了他的意思，便主动说：“你是要我做假眷属和作掩护吧，这个可以，不过你要同邓颖超同志讲好，她已约我去肇庆当教师。”谭寿林说：“不用了，反正是工作，先在这里，等以后我亲自向她解释。”李省群接着说：“这样吧，你先写几个字说明。”谭寿林连忙说：“好!”就这样，李省群与谭寿林假扮夫妻，顺利租下国民大学内的房子，并以此作为中共梧州地委驻穗联络站，负责与南宁、贵县、梧州等地党团组织、革命团体的联络工作。
谭寿林在广州除了做好联络站的工作，还要想方设法为广西怀集、梧州一带来穗的农会和自卫军负责人找工作、谋出路。当年，在谭寿林的领导下，梧州一带，桂平、贵县一带，都发展起了农民协会、农民自卫军组织。这些组织负责人与谭寿林一直保持着联系。四一二反革命政变之后，他们当中好多人丢了工作，于是到广州投奔谭寿林。谭寿林只有多方奔走，尽力为他们寻找工作的机会。这些人当中，就有当时的中共梧州地委委员、负责农运的林培斌。
时局的动荡让谭寿林的家人愈发牵挂漂泊在外的孩子。于是，谭寿林的父亲带着谭寿林母亲和祖母的嘱托，千里迢迢从贵县来到广州，想亲眼看看儿子的境况，试图说服他回家隐蔽，免得家人为他时时担忧。当父亲把自己的想法说出来时，谭寿林毫不迟疑地说：“在现在的情况下，回家去不妥当，也避免不了恶势力。要战胜恶魔的势力，唯一的方法还是战斗。”知子莫若父，谭父知道只要寿林认定的事，谁也别想劝他回头。小住几日后，谭父便独自一人踏上了归途。
1927年端午节后，谭寿林接到祖母病重的消息，父亲来信催他回家。正在这时，组织上派他出席在武汉召开的全国第四次劳动大会。祖母可是最疼爱他的人啊! 此刻他多想立刻就回到祖母身边，好好尽孝。一边是血浓于水的亲情，一边是为天下人谋幸福的革命工作。他毫不犹豫地选择了后者。去武汉开完会后，谭寿林立刻赶回贵县探望祖母。在家乡期间，谭寿林一面忙于为祖母请医治病，一面秘密组织发动谭家岭周边群众，向他们宣传革命道理，号召他们勇敢地站起来，和土豪劣绅，和一切反动派作斗争。离谭家岭不远的一处山坡上，至今还保留着谭寿林召集乡亲们开会时的石洞。宽敞的石洞，能容纳上百人。谭寿林当年就是在这个石洞里，向乡亲们宣传革命道理，教唱革命歌曲的。谭寿林根据这段时间的思考与经历，创作出了影响广泛的《土地革命山歌》：
杨柳青青江水平，四边田野唱歌声;
唱歌不唱风流调，单唱农民受苦情。
我辈农民种田地，交租纳税已冇
①余;
官僚地主享大福，农民生活狗不如。
地主收租吃白米，官僚勒税吃山珍;
官僚地主真威福，当我农民不是人。
似虎官僚迫了税，如狼地主又迫租;
终年辛苦无所得，饥寒交迫向谁呼!
我辈农民想不通，做牛做马苦做工;
是否生成天注定，冇吃冇穿这样穷?
种田到老穷到老，到老更穷更困难;
耕田种地挨饥饿，地主米粮堆如山。
我明白了明白了! 明白为何这样穷;
就是高租兼重税，剥削一重又一重。
官僚地主虎狼凶，欺压工农理不公;
剥得工农只留骨，看他狗命几时终!
开天辟地田何来? 是我农民辛苦开!
农民辛苦种田地，地主收租理不该。
千年田地谁是主? 哪个田头立了碑?
只要大家合力打，铁铸江山打得正。
道理讲来真不差，铁铸江山打开花!
本应耕者有其田，因何田在富人家?!
个个明白这道理，大家努力去周旋;
打倒官僚才快乐，铲除地主才安然。
人人种地有田地，有饭吃来有衣穿;
若想实现这世界，大家合力扭转天。
革命成功在眼前，群众奋斗要争先;
杀头当作风吹帽，坐监也要闯上天。
如果革命胜利了，我辈主张得出头;
自己种地自己吃，谁敢逼税把租收?!
大家努力干革命，革命一定会成功;
到了那时真幸福，工农来作主人翁!
① “杀头当作风吹帽，坐监也要闯上天”这两句歌词将作者为革命事业不怕牺牲、视死如归的英雄气概和豪情壮志表现得淋漓尽致。
谭寿林频繁组织革命活动，很快就引起了敌人的注意。一日，谭寿林得到敌人要来抓捕他的消息，他知道如果再待下去不仅自己有被捕的危险，还有可能连累到家人。父母得知谭寿林又要离家远行，虽然心里有万般不舍，但也只能含泪送别。临行前夜，家人特意杀了一只鸡来为他饯行。谭寿林对大家说：“我这次走，以后不一定能回来了。”停顿了一下，他又对父亲说：“你就等于少生我一个儿子……”第二天他就返回广州，继续从事地下斗争。不久，谭寿林转赴上海，受中华全国总工会(简称“全总”)委派，赴香港巡视工人运动。
广州是第一次大革命的策源地，工农运动曾有很大发展，中国共产党在这里有很好的工作基础。在中共广东省委的领导下，全省工农运动日趋活跃。1927年10月中旬广州市海员举行的罢工得到各业工人的援助，2万多工人举着红旗向反动政府示威，显示了广州工人阶级的觉悟和力量。
11月17日，在上海的党中央常委会开会通过了《广东工作计划决议案》，要求广东省委利用粤桂新军阀争夺广东地盘、内争加剧的机会，“坚决地扩大工农群众在城市、在乡村的暴动，煽动士兵在战争中哗变和反抗，并急速使这些暴动会合而成为总暴动，以取得广东全省政权”，“发表宣言，号召全省工农暴动，建立工农兵士贫民代表会议的政权”。
① 就在这一天，恰好粤桂战争爆发，广州市内敌军兵力大为减弱，这为发动广州起义造成了有利时机。
11月26日，中共广东省委书记张太雷从香港返回广州，秘密召开了有部分省委常委参加的常委扩大会议，具体研究了广州暴动的准备工作。会议决定乘张发奎的粤军主力调往肇庆、梧州一带，广州市内兵力薄弱的有利时机，举行武装起义，并成立了由张太雷、黄平、周文雍三人组成的革命军事委员会，作为广州起义的最高领导机关。随后又成立了起义军总指挥部和参谋部，叶挺任总指挥，叶剑英任副总指挥。
起义原定于12月12日举行，起义前夕，张发奎对起义的计划有所察觉，准备解散教导团，在广州实行戒严，并调其主力部队赶回广州。在此紧急关头，中共广东省委决定提前于11日凌晨举行起义。12月11日3时许，在张太雷、叶挺、黄平、周文雍、叶剑英、杨殷等领导下，教导团全部、警卫团一部、工人赤卫队七个联队和两个敢死队共3000余人，分数路向广州市各要点发起突然袭击。广州市郊芳村、西村等地的农民约2万人同时举行起义，一部进入市区配合起义军的行动。起义军民经过10个多小时的战斗，歼灭市区守军大部，攻占市公安局、国民党广东省政府等重要机关。当日上午，成立广州市苏维埃政府，中共中央临时政治局常委苏兆征为主席(未到职，由张太雷代理)。12日，张发奎部三个多师和在市区的残部，在英、美、日、法等帝国主义军舰和陆战队的支援下，向起义军反扑。起义军前仆后继，浴血奋战，但终因寡不敌众，广州失守，起义失败。国民党军重占广州后，对未及撤离的起义军、工人赤卫队和拥护革命的群众，进行了血腥镇压，惨遭杀害者达5000余人。广州起义，是对国民党反动派叛变革命和实行白色恐怖的又一次英勇反击，是中国无产阶级在城市建立苏维埃政权的大胆尝试，在国内外都引起了很大的震动。
广州起义前夕，谭寿林奉命从香港回到广州。起义爆发后，谭寿林在起义指挥部肃反委员会工作，负责审讯文教界反革命分子。起义失败后，他同陈勉恕一起匿居在广州市郊大石街陈勉恕爱人刘曼舒家中。在广州的这段时间里，谭寿林在腥风血雨中仍然为革命四处奔波，几次被敌人拘留、逮捕，均因未暴露身份和组织营救而获释。12月下旬，谭寿林从广州市郊绕道佛山、中山到香港，因香港地下党组织被破坏，又转赴上海，继续开展革命活动。
1927年12月13日，北京《晨报》刊登广州苏维埃政府成立的消息
