唯有中书郎郗超，素来与谢玄不和，却在此时站出来，力挺谢玄，他感叹道：“谢安不顾非议，举荐亲人，是英明之举；谢玄必定不会辜负举荐，因为他确实有绝世之才。我曾与谢玄一同在桓公（桓温）府中共事，亲眼见他用人，能做到人尽其才，即便是细小的事务，也能安排得恰到好处，这样的人，领兵打仗，必定能成大事！”
郗超的这番话，让朝堂上的反对声渐渐平息，孝武帝也听从了谢安的建议，下诏征召谢玄回朝，任命他为建武将军、兖州刺史，兼领广陵相，监江北诸军事，全权负责江北地区的军事防御，抵御前秦的入侵。
谢玄临危受命，深知自己肩上担子的重量。
他来到广陵（今江苏扬州）后，没有丝毫懈怠，立刻着手整顿军务，做的第一件大事，就是组建一支精锐的强军。
当时东晋的军队，大多是世兵制，士兵世代为兵，战斗力低下，军纪涣散，根本无法与骁勇善战的前秦骑兵抗衡。
谢玄放眼江北，发现这里有大量躲避战乱而来的北方流民，这些人背井离乡，对胡人恨之入骨，个个身强体壮，勇猛剽悍，只要加以训练，必能成为一支无敌之师。
于是，谢玄下令，在广陵、京口（今江苏镇江）一带，招募北方流民和勇武之士，严格选拔，精心训练。
他亲自制定军纪，赏罚分明，体恤士兵，与将士们同甘共苦，很快就凝聚起一支战斗力极强的军队。
这支军队，因驻守在京口，而京口又称“北府”，故被称为北府兵。
北府兵的组建，堪称东晋军事史上最伟大的创举。
谢玄选拔了刘牢之、何谦、诸葛侃、高衡等一大批猛将，作为军队的核心将领，这些人个个骁勇善战，忠勇过人。
谢玄对北府兵进行系统化的军事训练，锤炼他们的战斗意志，打造出一支军纪严明、作战勇猛、忠心耿耿的精锐之师。
这支仅有数万人的北府兵，日后不仅成为东晋抵御北方外敌的核心力量，更是在淝水之战中，以八万之众大破前秦百万大军，一战封神，威震天下，而谢玄，就是这支传奇军队的缔造者。
谢玄组建北府兵后，很快就迎来了实战的考验。
太元三年（公元378年），苻坚派大军分两路攻打东晋，一路由儿子苻丕率领，围攻重镇襄阳；另一路由大将彭超率领，率军数万，攻打彭城（今江苏徐州），企图撕开东晋的北方防线，长驱直入。
襄阳告急，彭城被困，东晋朝廷上下震动，立刻下诏命谢玄率领北府兵，驰援彭城，抵御彭超大军。
谢玄接到诏令后，立刻率领一万多北府兵，日夜兼程，赶赴泗口。此时，彭超的大军已经将彭城团团围住，彭城守将戴逯率军死守，粮草渐少，形势万分危急。
谢玄率军抵达后，没有贸然强攻，而是仔细分析战局。
他深知，彭超兵力雄厚，正面硬拼，未必能胜，当务之急，是先给彭城守军传递援军已到的消息，提振城内士气。
可敌军防守严密，根本无法派人入城送信。就在众人一筹莫展之际，小将田泓主动请命，愿意潜水入城，传递消息。谢玄看着这位忠勇的小将，心中感动，再三叮嘱他小心行事。
田泓潜入水中，潜行至彭城城下，不幸被前秦士兵抓获。敌军用重金贿赂田泓，让他到城下大喊，谎称东晋援军已败，劝城内守军早日投降。田泓假意答应，可到了城下，却对着城内大声喊道：“援军马上就到，我是来报信的，被敌军抓住，你们一定要坚守住！”
话音刚落，田泓就被敌军残忍杀害。城内守军听到消息，士气大振，更加坚定了守城的决心。
谢玄得知田泓遇害的消息，悲痛不已，同时也下定决心，一定要击败彭超，为将士报仇，解彭城之围。
他巧用计谋，故意放出消息，称要派军队攻打彭超大军的粮草重地留城。
彭超听闻后，果然中计，立刻撤去彭城的包围，率军回援留城。
谢玄抓住战机，趁机率军挺进彭城，顺利解了彭城之围，接应戴逯的军队安全撤离。
彭超这才发现自己中计，恼羞成怒，率军一路追击，与前秦另一员大将俱难会合，合兵数万，继续南下，攻打盱眙、淮阴等地，一路烧杀抢掠，兵锋直指广陵。
面对来势汹汹的敌军，谢玄沉着应战，率领北府兵奋起反击。
北府兵虽是新建，却个个勇猛无比，军纪严明，在谢玄的指挥下，连战连捷。
太元四年（公元379年），谢玄先是率军在盱眙大败俱难、彭超，收复盱眙；随后又乘胜追击，在君川再次大破前秦大军，歼灭敌军数万，缴获大量粮草军械。彭超、俱难只身逃走，险些丧命，前秦军队的这次大规模进犯，被谢玄彻底击退。
这一战，是谢玄率领北府兵打的第一场大胜仗，彻底打出了北府兵的威名，让东晋边境暂时恢复了安宁，也让前秦军队见识到了谢玄的军事才能和北府兵的强悍战斗力。