此后数年，前秦军队多次进犯，都被谢玄率领北府兵一一击退，谢玄和他的北府兵，牢牢守住了东晋的北方大门，让东晋在风雨飘摇中，得以喘息。
谢玄击退前秦大军，守住边境，可这只是暂时的安宁。
统一北方的苻坚，野心勃勃，始终没有放弃吞并东晋的想法，一直在积蓄力量，准备发动一场灭国之战。
太元八年（公元383年），苻坚终于下定决心，倾全国之力，南下灭晋。
他征调全国百万大军，其中步兵六十余万，骑兵二十七万，还有羽林郎三万余，号称“投鞭断流，所向披靡”，分三路大举南下，旌旗绵延千里，战鼓之声响彻天地，声势极为浩大。
苻坚亲率主力大军，进驻项城，派弟弟苻融率领二十五万前锋部队，率先攻克寿阳，兵临淝水，与东晋军队隔河对峙。
消息传回建康，东晋朝廷彻底陷入恐慌，满朝文武吓得手足无措，百姓更是人心惶惶，纷纷准备逃难。
孝武帝立刻召开御前会议，任命谢安为征讨大都督，总揽全国军务；任命谢玄为前锋都督，率领八万北府兵，北上抵御前秦百万大军；同时任命谢石、谢琰、桓伊等人，率军协同作战。
八万对百万，兵力差距悬殊到极致，所有人都觉得，东晋必败无疑，就连建康城内的百姓，都做好了亡国的准备。
唯有谢安，镇定自若，坐镇建康，安抚人心，运筹帷幄；而谢玄，虽心中也知此战凶险，却毫无惧色，他深知，这是东晋的生死存亡之战，只能胜，不能败。他率领八万北府兵，日夜兼程，赶赴淝水前线，与谢石的军队会合，严阵以待。
苻坚攻克寿阳后，志得意满，觉得东晋不堪一击，派此前被俘的东晋将领朱序，前往晋军大营劝降。
朱序虽是降将，却心向东晋，他见到谢石、谢玄后，不仅没有劝降，反而将前秦军队的虚实全部告知，悄悄献计：“前秦百万大军尚未全部集结，此时应趁其不备，主动出击，击溃其前锋部队，挫其锐气，方能取胜。”
谢玄听后，深以为然，果断改变防守策略，决定主动出击，打前秦军队一个措手不及。
太元八年十一月，谢玄派北府兵猛将刘牢之，率领五千精锐北府兵，夜袭洛涧，打响了淝水之战的第一枪。
刘牢之率领的北府兵，个个如猛虎下山，趁着夜色，猛攻前秦梁成的五万大军。
前秦军队毫无防备，被北府兵打得溃不成军，梁成和弟弟梁云当场被斩杀，前秦士兵死伤无数，争相跳入淮水逃命，溺死者不计其数。
刘牢之乘胜追击，生擒前秦多名将领，缴获大量粮草军械，大获全胜。
洛涧大捷，极大地提振了晋军的士气，彻底打破了前秦军队不可战胜的神话，晋军士气高涨，一路推进至淝水东岸，与前秦大军隔河对峙。
此时，苻坚和弟弟苻融登上寿阳城头，遥望东岸的晋军，只见晋军阵容齐整，将士精锐，士气高昂，再望向远处的八公山，见山上草木晃动，竟误以为都是晋军士兵，心中顿时生出惧意，忍不住对苻融说：“这也是劲敌啊，谁说东晋兵力薄弱！”
从此，便留下了“草木皆兵”的千古典故，苻坚的骄纵之心，早已消散大半，内心开始忐忑不安。
前秦大军在淝水西岸列阵，晋军无法渡河，两军陷入对峙。
谢玄抓住苻坚急于决战、轻敌自大的心理，心生一计，派人前往前秦大营，对苻融说：“你们率军深入我境，却在淝水岸边列阵，这是想打持久战，并非速战速决。不如你们稍稍后退，让出一片空地，让我军渡过淝水，与你们一决胜负，岂不是更好？”
苻坚和苻融商议，觉得可以将计就计，等晋军渡河渡到一半时，再派铁骑出击，一举歼灭晋军。于是，苻坚不顾手下将领的劝阻，下令军队后退。
可他万万没想到，前秦军队人数众多，成分复杂，士兵大多是被强征而来，本就无心恋战，后退的命令一下达，军队瞬间大乱，根本无法控制。
谢玄抓住这千载难逢的战机，亲自率领八千精锐北府兵，迅速渡过淝水，猛攻前秦大军。朱序则在秦军阵后大喊：“秦军败了！秦军败了！”
前秦士兵本就军心涣散，听到喊声，更是吓得魂飞魄散，纷纷四散奔逃，全军彻底崩溃，自相践踏，死伤无数。
苻融骑马在阵前指挥，想要稳住军心，却被乱军撞倒，当场被晋军斩杀。
苻坚见大势已去，吓得仓皇逃窜，在逃亡途中，被流箭射中，身边的士兵越跑越少，一路上，听到风吹过的声音、仙鹤的鸣叫，都以为是晋军追来了，这便是“风声鹤唳”的由来。
前秦百万大军，彻底土崩瓦解，兵败如山倒，士兵们丢盔弃甲，连夜逃窜，饥寒交迫，再加上自相践踏，死伤十之七八，苻坚仅带着少数残兵，狼狈逃回北方。
淝水之战，