1928年春，谭寿林在上海化名覃树立，参加中华全国总工会工作，从事工人运动，不久调任中华全国海员工会秘书长。1931年初又调任中华全国总工会秘书长。
当时的上海白色恐怖严重，军警特务、青红帮分子特别多，环境险恶，革命者随时都有被捕的风险。作为全国工人运动的骨干，谭寿林要经常往返于各个秘密工作点听取汇报，布置任务，掌握全国工人运动的情况，协助全总领导指挥全国工运，又要到一些基层工会指导工作，白天黑夜忙个不停。在这样复杂恶劣的环境中，谭寿林既大胆镇定，又机警沉着，将各项工作开展得有条不紊。在此期间，谭寿林还兼任中共中央机关报《红旗》①的编辑。
谭寿林不管走到哪里，担任何种职务，始终保持着勤俭节约、艰苦朴素的生活作风。就是在十里洋场、花天酒地的大上海，他的全部家当也只有一只烂藤夹、一条破棉被和一套旧西装。一条破棉被，天冷天热都盖着;一套旧西装，一年四季都穿着。长期艰苦的生活、繁重的工作，终于将谭寿林的身体压垮了。1928年秋，谭寿林患上了肋膜炎。一开始，他没有告诉任何人，更没有花钱诊治，只是靠着自己的意志撑着，直到一个月之后，发高烧卧床不起，才找了一个同乡医生看了看，但仍照常工作。生病后，他没有遵照医生的嘱咐调养身体，仍将生活费的一半节省下来供给生活困难的同志，而自己每日的伙食费则限制在3元以内，烧饭洗衣这些琐事都是自己料理，从未雇人或是寻求其他同志的帮助。这段时间，谭寿林家中生活也非常困难，叔父见他父亲年老体弱，依靠谭寿林挣钱养家也无指望，就向他父亲提出分灶吃饭。理由就是谭寿林在读书时，自己也承担了部分费用，为此，二人发生了争执。父亲一气之下，写信给谭寿林，骂他不中用，不能挣钱养家，连累了家里。收到信后，谭寿林十分难过，对家里充满歉疚，但还是在给父亲的回信中表明了自己的革命理想是为了大多数人民的幸福，不可计较个人和家庭的得失。①
谭寿林在全总主要做秘书工作。他不仅具有扎实的文字功底、良好的沟通协调能力，还具有超前的谋划能力和信息汇总传达能力。每次领导出去巡视，他都会提前汇总各地的信息，做好万全的准备和妥善的安排。1929年8月初，时任全总秘书长的罗章龙准备去广东、香港巡视，设法打开自广州起义后当地党与工会活动十分困难的僵局，将工作重新部署。在罗章龙动身赴粤前夕，谭寿林向他汇报：广州陈济棠近来勾结香港政府订立联合对付中共活动条约，凡从外部航粤轮船到香港，抵埠时先由双方军警上船搜索，见有形迹可疑的外江人即暗中监视，下船时绑架到警厅非法审讯，宣布为“红色人物”立即驱逐出境，转手间送上广州派来的槛车运往深圳广九车站引渡。因前车之鉴，在船中应小心在意。谭寿林已提前通知粤省委在轮船到岸时，派一同志到码头迎接。随后，谭寿林送罗章龙到外滩码头登乘威尔逊总统号直航香港。在谭寿林的精心安排下，罗章龙平安顺利完成巡视工作，于9月20日乘英国皇后号返回上海。罗章龙回到上海后，在中央会议上报告巡视经过，会议公认南方工作已重新回到了战斗轨道。
谭寿林在做好秘书工作的同时，积极参与工人运动。1928年3月10日，全总策动上海89家丝厂6万余工人罢工，反对厂警殴伤女工，7天后胜利复工。国民党与政府见工人斗争抬头大为不安，乃设计加强防御。同年5月，国民党上海市党部联合国内各方面力量破坏工人运动。马超俊、冯自由、杨德甫、谌小岑、陆京士、潘公展等在上海成立工会整理委员会(简称“工整会”)，与全总对抗。全总则采取各种斗争形式击退工整会的反攻。是年9月1日国际青年节纪念日，全总在上海公共租界南京路组织群众示威游行，公共租界捕房出动军警进行阻挠，逮捕李伟森(即李求实)等20多人(李伟森等经营救，不久释出)，华界与租界同时戒严，搜查全总宣传及印刷机关等。
民国时期老上海南京路
1928年10月2日，上海邮政工人为提高工资和改善待遇，爆发约3000人的大罢工。全总派张之钰、吴汝铭等前往领导，与陆京士、沈天生等展开正面斗争(陆、沈等初为国民党领导的工会统一委员会的成员，后为蒋介石属下的七大工会头目)。这次罢工惊动了全上海80万工人群众。两三天内，上海工人群众纷纷组织罢工后援会，声援邮政工人的斗争，并提出工人应有集会、结社、言论、出版、罢工的自由等口号。罢工激怒了帝国主义和国民党，他们惧怕工人运动重新抬头，危及自己的利益与统治，遂全力布置反罢工策略。他们一方面唆使御用的邮务职工会代行邮务工人工作，另一方面派出英租界工部局的中印巡捕进行武装镇压，结果全总工作人员被逐，数十名工人被捕，加之工贼的威迫利诱，分化瓦解，罢工历经3日最终失败。
① 1929年5月，开滦五矿工人为反抗中外资本家的疯狂榨取以及国民党反动派的欺骗政策，揭穿反动派宣扬的“阶级和平”“劳资妥协”的假面具，向资本家提出增加工资、改善生活待遇的要求，遭到资本家的拒绝。工会毅然决定发动矿工进行罢工斗争。罢工开始后，全总立即发表了《为开滦矿工斗争告工友书》，号召各地工人起来声援，有力地支援了开滦五矿工人的罢工斗争。
这一时期的工人运动主要是以罢工和游行集会为主要斗争方式，虽然大部分以失败而告终，但罢工中呈现出的复杂多变、危机四伏的斗争形势，让谭寿林得到了进一步的锻炼和成长。
全总一边领导工人群众揭露国民党的阴谋，一边展开激烈的宣传战，《斗争导报》《劳动周报》《上海日报》等陆续创刊，成为其主要的宣传阵地。
《斗争导报》于1930年11月23日创刊。罗章龙、但一(恽代英)、李求实、林育南任编辑，印刷由毛泽民负责，谭寿林负责发行。派报地点分设在市内工人区各小茶馆及俱乐部内，每期发行5000份至7500份。《斗争导报》采用图文并茂的形式，及时报道每天发生的革命斗争事件，以此鼓舞更多的民众投入到轰轰烈烈的群众运动中。
1931年1月7日，党中央在上海召开了六届四中全会扩大会议。出席会议的有中央委员、候补中央委员22人，还有陈绍禹(王明)、何孟雄等15名非中央委员出席了会议。共产国际代表米夫也参加了会议。会上，王明等在共产国际代表米夫的指使下，打着“执行国际路线”“反对立三路线”“反对调和主义”的旗号，在会上散发了《为中共更加布尔什维克化而斗争》的小册子，指责李立三的错误是在“左”的词句掩盖下的“右倾机会主义”。他们提出一系列比李立三的冒险错误还要“左”的错误观点。通过这次会议，他们取得了在中共中央的领导地位，开始了“左”倾教条主义对党长达四年的统治。
六届四中全会后不久，谭寿林调任中华全国总工会秘书长。时任中华全国总工会中共党团书记的罗章龙因反对王明，组织成立“中央非常委员会”，另立中央、分裂党，被开除党籍，并撤销职务，另任命罗登贤为中华全国总工会执行委员会代理委员长兼中共党团书记。此后，谭寿林积极配合罗登贤开展工人运动。
1931年春，为了提升工人工资，改善生活待遇，中华全国总工会发动和领导了上海十多家纺织厂数万工人开展罢工斗争。罢工开始后，全市丝织业几千工人也举行了总同盟罢工，迫使资本家增加了工资，使工人的生活得到了微小的改善。罢工结束后，中华全国总工会及时总结了罢工斗争的经验，向全国各地推广，进一步推动了各地工人运动的发展。
同年春夏间，国民党反动派为进一步迫害工人，束缚工人行动，以巩固其反动政权的统治，颁布了所谓《工会法》和《工厂法》条例，取缔了工人的集会、结社、出版、言论以及罢工自由的权利。工人们意见纷纷。中华全国总工会为此召开了会议，认为反动派串通资本家颁发的《工会法》《工厂法》，实际上是禁止工人进行罢工，不准工人开展反帝反封建斗争。规定工人只能服服帖帖地像牛马般劳动，使工人处于奴隶的境地。工人阶级绝对不能接受。要发动工人起来反对《工会法》和《工厂法》，争取改善工人的政治权益。随后在全总的发动和领导下，上海的纺织、电车工人开展了反对国民党反动派公布的《工会法》和《工厂法》的斗争，使反动派欲以禁锢工人进行革命斗争的条例未能全部实施。
当时，国民党反动派为了压制工人运动，在上海恢复了大革命时期被军阀封闭的“上海市总工会”，各工厂也建立了这样的基层组织，委派了一些工贼、走狗、特务、暗探充当委员。这个黄色工会专门从事反对中共组织的赤色工会活动。他们秉承国民党反动派的意旨，取消工人在革命斗争中的权益，压制工人在政治上、经济上的要求;他们还公开宣传阶级调和主义和劳资合作;禁止工人罢工，要工人严守“纪律”“秩序”;还宣扬一切劳资纠纷要听候国民党上海市党部社会局的调查和处理，工人不要擅自“妄动”;工人要举行罢工活动，他们就帮助资本家开除工人，甚至逮捕、屠杀工人。这个黄色工会就是个地地道道、臭名昭著的御用工会。为此，全总和上海总工联一起号召各厂工人，利用结拜兄弟、小姊妹以及读书读报会、文娱活动等公开合法形式，同黄色工会进行斗争。在斗争中，又号召工人组织自己的工会，不断壮大自己的队伍，使上海的工人运动逐渐形成一股汹涌澎湃的浪潮，冲击着国民党的反动统治。
谭寿林远离家乡为了全中国人民的幸福而忘我工作但他心中始终牵挂着那块生他、养他的红土地，关注着那里的革命事业。1928年2月初，黄日葵、谭寿林等组织广西赴沪的共产党员，召开了广西同志谈话会，对过去广西党的工作进行了回顾，认真总结了经验教训，并对今后党在广西的工作进行了讨论，提出了意见。2月7日，黄日葵、谭寿林等8位广西同志在上海联名给党中央写了《广西的组织情况，工农革命运动及对今后工作意见》的报告，向党中央全面汇报了广西党的工作，提出了六点建议：
(一)自桂系在政治上、军事上占重要的位置以来，愈发见了广西工作的重要。希望南方局多注意广西的党，加紧广西方面的工作。
(二)在南方局加入一个熟悉广西情形及在广西工作过的同志，以加强指导和督促的便利(广东省委和南方局中，从前除延年、木青还指导一点广西的大概外，余可说没一人指导的;近来屡经改组，恐怕更不如前了。本条意见是代英提起过的，不知怎么又搁下来了)。
(三)南方局早日派人潜入东兰及鹏化一带，切实调查，为恢复广西今后的党和建设工作计划之基础。
(四)设法建立南宁、贵县、广州湾(北海)的交通机关，以通消息，为恢复东兰、南宁等处党及各种工作之初步。
(五)派得力同志入平南主持党务，派军事同志入鹏化山设法领导山中的武装农民。而且大规模的训练起来，实行游击、骚动，以至于暴动……的新政策，以发动各地农民及时牵制桂省出兵广东。
(六)广西省委以目下的情形，自然谈不到设立。但南方局应有一个发展广西党和工作的具体计划，加紧进行。如此才不至于永远附庸于广东，才得遂它的独立健全地发展，它的本身也才能产生出能负担党的工作的人才来———这是广西党的大病根。
① 根据广西同志的报告和建议，中共南方局在1928年上半年先后派了几批党员领导干部奔赴广西开展工作。6月，在贵县召开了中共广西特委扩大会议，使受到严重破坏的广西党组织重新得到了恢复和发展。
在紧张的工作之余，爱好文学的谭寿林喜欢通过文字把自己所见、所闻、所思以及所批判的现实表达出来。在上海期间，谭寿林撰写了许多革命文学作品，用曼殊、勉予等笔名在进步报刊上发表。他写的《狱中的生活》一书，叙述了他在梧州的革命活动和被囚禁的经过，揭露了反动派的黑暗统治和罪行，遗憾的是当时没有书店敢承印。之后，他又以谭勉予的笔名写了自传体中篇小说《俘虏的生还》，由上海泰东书局印行。这部小说，描写了广州起义前后两广地区尖锐复杂的革命斗争和一批革命知识分子的遭遇，塑造了革命青年阿曼(原型就是谭寿林本人)的感人形象。谭寿林通过小说主人公之口，抒发了自己坦荡的胸怀和革命豪情：
谭寿林撰写的自传体小说《俘虏的生还》
他的人生观是以战斗为快乐，为人生重大责任。
一个人如果不是很勇敢地站上战线，便是一个怯懦的蠢材。
我的热情似火一般，终归是要放射出来的! 我将要找到一杆手枪，拿着枪，轰我痛恨的人们。
前进，向着光明前进。
将我的生命献给我们的新时代。
他在小说中把被俘虏的经历比喻成在皮鞋上多钉了一口钉子，“人生好像皮鞋一样，加钉一口钉，即多坚实一分”，对于被俘他是很泰然的，“他以为人生在忙迫的工作中得到一会意外的休息时间，可以把一切纷杂的思虑摒除，且酣畅地享睡眠的清福。睡眠过后，他再静静的把过去的事情再细细地咀嚼一回，留其精华，吐其糟粕。更可以把将来进行的方案，细心的推敲”。
谭寿林创作这部中篇小说时，虽然只有33岁，但他已经是一个斗争经验丰富的革命者了。他写这部小说，就是要向世人说明，主人公阿曼虽然被国民党从监狱里释放出来，表面上“自由”了、“生还”了，但生活在旧社会出路何在? 前进的道路又在何方? 这一切都很茫然。所以他在精神上仍然十分苦闷，心理上并没有感到“生还”和“自由”。就在这时，广州暴动的伟大革命洪流迎面而来，他的一腔悲愤喷涌而出，自觉地投身于广州暴动之中，在战斗与流血之时，他才真正感到“自由”和“生还”了。谭寿林虽然没有正面写出光明、胜利的前景，但对广州起义中革命者英勇战斗、流血牺牲的场景作了很好的再现，表达了他对人民的热爱、对革命的忠诚、对敌人的憎恨，控诉了窒息人、吃人的黑暗的社会制度和社会现状。谭寿林通过阿曼的经历，以及阿曼出狱后的所见所闻，揭示了当时社会的恐怖、残暴和黑暗，表达了一个革命的知识分子对旧社会的反感与厌恶、抗战与对峙。
