1883年12月，法国侵略军悍然向驻扎在北圻的中国军队发起进攻，中法战争正式开始。1884年3月，北宁失守，前线指挥官、广西提督黄桂兰畏罪自杀。清政府手忙脚乱，匆匆调兵遣将之余，才想起这位熟悉边情的老将。最初李鸿章认为他年老血衰，不是法军对手，只给了他一个督办高、雷，廉，琼4府25州县团练的名义。冯子材在一无实权，二无饷源的情况下，几个月间，成立了9个州县的团练，其中他亲自挑选和训练的500名钦州练勇成为日后“萃军”的骨干。

对法国正式宣战后，清廷考虑到敌我的实力对比，制定了“海上防守、陆路进攻”的战略计划，正当法国舰队进攻台湾、骚扰镇海的时候，清军也开始着手在越南北圻向法军发起反击。当时越南的陆战战场主要分为西线和东线：在西线战场上，主要由滇军和黑旗军联合进攻，夺取被法军占领的宣光城；在东线战场上，则是由桂军负责进攻谅江和太原，随后与西线清军会师，联手会攻北宁和河内的法军。

同年5月，张之洞署理两广总督。冯子材主动上书，要求统率1.5万军队，从钦州进入越南东北的广安，海阳，开辟陆路第三战场。张之洞很欣赏这个建议，同意他编成18营军队，准备开赴越南作战。

冯子材整装出发之际，抗法前线的形势陡然恶化。1885年1月底，法军主力7000余人在船头一带向广西边境大举进军。2月13日，法军占领战略要地谅山。23日，守卫文渊的清军将领杨玉科中炮牺牲，部下溃散。法军乘势侵占镇南关，前锋深入我国境内10公里。25日，法军由于兵力不足，补给困难，炸毁镇南关城墙及附近工事，退回文渊，还在关址废墟上立一木牌，上书：“广西的门户已不再存在了”。

就在这个时候，冯子材率军赶到前线，毅然担负起保卫祖国西南边疆的重任。行前，他祭别祖先，嘱托家人：万一军有不利，百粤就非我所有，要带家眷、奉香火驰归江南祖籍，永为中国民，免得受外人奴役。他还把两个儿子带在身边，准备万一战死沙场，好料理后事。当时前线清军的状况也确实不容乐观。法军攻占镇南关的当天，前敌总指挥潘鼎新一口气逃到距镇南关百里之遥的海村，放弃了指挥责任，其他各路将领又龃龉频生，不服调度，散兵游勇四处劫掠，老幼难民蔽江而下，关内震动。冯子材以七旬高龄，素孚众望，召集各路将领开会，劝告大家消除派系成见，以国事为重，同心协力保卫国家。在会上他被众将公推担任前敌主帅。

1883年2月25日，冯军进驻凭祥，预备与法军决一胜负。尽管法国侵略军势焰正张，但不难看出他们面临许多困难：远离后方补给基地，失去了游弋于江河中的炮艇火力的支援，兵力也很薄弱，能战之兵只有四五千人。而清军这时已集结了包括大批生力军在、内的部队2万余人，背靠后方补给基地——龙州，士气日渐高昂。冯子材分析了敌我双方情况，又亲临前线，遍勘从板山到幕府的各处山隘，最后确定以镇南关北8里的关前隘作为预设战场。关前隘是一个两面有高山屏障，地势、地形由北向南倾斜、收缩的山谷。冯子材命令部队在东西两岭之间构筑一道3里多长的土石长墙，高约7尺，宽约4尺，墙外挖掘4尺宽的深堑，并在东西岭上修筑堡垒多座，构成一个较完整的山地防御体系。在兵力配置上，冯子材把士气高、战斗力强的“萃军”和“勤军”放在主阵地上，又在左、右两翼派了较强的兵力防止法军迂回龙州，最后以强大的预备队驻幕府、凭祥，随时准备投入反攻。到这时，冯子材才放心地说，“我可以立于不败之地了！”3月9日，法军一部企图绕过镇南关，经扣波进占艽封，牧马，威胁龙州。冯子材根据越南民众提供的情报，派“萃军”5营前往扣波，派苏元春和魏纲部前往牧马，阻住法军通道。1883年3月21日，冯子材为了打乱正在集结的法军部队进攻部署，决定诱敌入瓮，率王孝祺部出关夜袭法军前哨据点文渊，一度冲入街心，毙伤不少敌人，击毁炮台两座。清军的主动出击，使法军指挥官尼格里感到丢脸，为了捞回面子，尼格里不待援军到齐冯子材冯子材，仓促决定提前发起攻击。

冯子材周密布防后，为了打乱法军的部署，便决定出其不意，攻其不备，先发制人。在冯子材的指挥下，萃军于3月21日夜主动出击，突袭了盘踞在文渊的法军，以提高清军的作战士气，并引诱法军来攻关前隘。

法军受损之后，指挥官尼格里果然按捺不住，于23日凌晨指挥法军两千多人和三个炮兵连，兵分三路，气势汹汹地进犯清军长墙主阵地和东岭炮台。西路法军从文渊出发，经镇南关西面沿偏道入龙门关，上西岭风尾山攻打王孝棋勤军阵地；中路法军闯过镇南关，沿关道进抵关前隘长墙外；东路法军从谅山上马鞍山后沿山脉直扑小青山的清军阵地。

随后两军展开激战，争夺东岭炮台的战斗尤为激烈，“炮声闻百里，山谷皆鸣，枪弹积阵前寸许厚”，最开始的时候，双方争夺激烈，势均力敌，死伤也相当。在枪林弹雨中，清军将士个个奋勇杀敌，抗住了法军一波又一波的攻击。

24日清晨，镇南关的关里关外，几十里大雾弥漫，能见度不超过十步。在清晨飘忽的雾气里，弥漫着一种不安的气氛。守卫长墙和高地的清军将士个个睁大眼睛，时刻警惕地看着前方。果然，法军利用天降大雾的有利时机，在猛烈的炮火掩护下，兵分三路，再次发动猛攻。在双方的喊杀声中，关前隘里硝烟和浓雾交缠在一起，弥漫四野，双方在相互冲击的过程中，甚至难辨对方旗帜。

当日午时，在法军逼近长墙主阵地并开始攀爬长墙的危急时刻，年近七十的老将冯子材大吼一声，首先打开栅门，大呼杀出，身先士卒地冲向敌阵！

冯老将军手持长矛，长须飘飘，奋勇冲出，清军官兵见此情状，人人感奋，纷纷拿起武器勇猛地冲向法军阵地。

清军和法军捉对厮杀，在枪林弹雨中，不断有人倒下去，又不断有人爬起来，却没有一个人退缩。肉搏战中，清军将士人人以死报国，奋勇拼杀。在冯老将军英勇精神的感召下，爱国官兵们个个杀红了眼，有力地打退了法军一波又一波的猖狂进攻。

与此同时，王德榜率油隘清军出击了法军运送军火的驮马队，切断了法军的粮械供应。在关前隘里展开激战的时候，东岭炮台也形成了拉锯战，清军争先攀登，三面围攻，夺回了已被法军占领的小青山，重新控制了两面高山，并将夺取的炮口对准山腰的法军，法兵见势大恐，纷纷从山上飞奔逃命。

攻下周围炮台后，清军的后援部队源源赶到，而法军的增援部队和弹药给养被清军截击，法国人因得不到及时补充而陷入困境，士气低落，镇南关的局势瞬间发生了微妙的变化。冯子材见机不可失，便立刻指挥清军发起了声势浩大、排山倒海般的反攻。

事先埋伏好的大刀队在近身肉搏战中发挥了重要作用。攻入关前隘的法军在清军的冲击下，撤离长墙，随后被清军截为四股，压到田丘里且战且退，狼狈逃窜。清军将士乘胜追击，王孝祺部将潘瀛更是杀得性起，脱去上衣，光着膀子率队持刀冲进敌阵。法军弹尽粮绝，终于支撑不住，指挥官尼格里见大势已去，急忙率领残部狼狈溃逃。冯子材率军乘胜追击，追出关外二十余里，直至深夜才暂且收兵。

这是法国兵的噩梦。经过这两天的激战，法军全线崩溃，狼狈逃出镇南关，退到文渊。镇南关一役，清军取得大胜，共击毙法军精锐上千人，缴获枪支弹药不计其数。法国人在战后也不得不承认，自他们入侵中国以来，“从未受此大创”。

为扩大战果，冯子材决定率军出关，乘胜追击，不给法军以喘息的机会。

1883年3月26日，清军追击到文渊。1883年3月29日，清军克谅山，并在战斗中重伤了法军指挥官尼格里。慌乱当中，法军甚至将38门大炮和大量银元弃入淇江，狼狈南逃。

1883年3月30日，清军克谷松，次日清军再克北黎，并收复了观音桥。此时的法军，犹如惊弓之鸟，一口气逃到郎甲、船头一带。在整个东线陆路战场上，中方出现了空前的大好形势。

1883年3月23日到24日，也就是在镇南关大捷的几乎同时，西线战场上也取得了重大胜利，当时法军将近六千人前来攻打临洮城，守城的黑旗军依托工事，布下地雷阵顽强抵抗，最后和来援的清军内外夹击，在临洮大败法军，杀敌上千，取得临洮大捷。紧接着，清军和黑旗军又乘胜收复了广威府、黄冈屯、老社等十几个州县。

至此，越南北部战场的敌我形势已经全然改观，胜利的天平开始倒向了清军一边。在这大好形势下，冯子材决定亲率东线全军进攻北宁、河内，将法国侵略军彻底赶出越南北部地区。但就在这时，清廷突然下诏停战撤兵，前线将士一片愕然，乘胜追击的作战计划也只能作罢。

尼格里为了等待援军，挽回败局，决定固守谅山。他以主力扼守驱驴北面的高地，以确保驱驴，屏蔽谅山，另以一部兵力配置在淇江（今奇穷河）南岸，分守通向谷松，屯梅的交通要道，留下老弱残兵驻守谅山城垣堡垒。冯子材深知清军攻击能力不强，待法军布置妥当，谅山便很难攻取，便与苏元春、王孝祺密商，定下“正兵明攻驱驴，奇兵暗取谅山”之计。1883年3月27日，他派杨瑞山部间道夜行，散伏于谅山城外。28日，冯子材率各部分3路逼攻驱驴。下午，尼格里在激战中胸部负重伤，副手爱尔明加下令全军退往淇江南岸，清军乘势冲进驱驴。谅山守敌在慌乱中砍断浮桥，一部分法军不得不泅水逃命，溺死很多，大批装备物资也委弃不顾。29日拂晓，杨瑞山部乘乱冲入谅山，法军残部狼狈逃窜。清军乘胜追击，至31日，尽复船头、郎甲以北的许多城镇。

失败的消息加剧了法国人民对茹费理内阁的不满，巴黎人民纷纷走上街头，高呼打倒茹费理的口号，要求茹费理立刻下台，“几使巴黎闹成革命”。法国的反对党也乘机猛烈抨击茹费理“是国家的蟊贼”，让茹费理赶紧收拾铺盖滚蛋。1883年3月31日晚，在一片责骂声中，茹费理内阁惶惶然如丧家之犬，轰然倒台。

镇南关——谅山大捷是中法战争中的最后一次战役。年近七旬的老将冯子材，依靠高超的指挥艺术和广大爱国将士，民众的支持，粉碎了法军击溃清军主力，向龙州佯动的阴谋。