这个决策非常明智，南硖戍后来成为了抵御东吴进攻的重要据点，为保卫合肥地区的安全发挥了重要作用。
此时的张辽，已经成为曹操麾下独当一面的大将，他不仅勇猛善战，而且极具战略眼光和指挥才能。
而真正让他而接下来的合肥之名扬天下的，还是接下来的合肥之战。
建安二十年（215年），曹操征讨孙权返回后，留下张辽、乐进、李典等人率领七千多名士兵驻扎在合肥。
随后，曹操率军征讨汉中的张鲁，临走前，他留下一封信给护军薛悌，信封上写着“贼至乃发”四个字，意思是等敌人来了再打开看。
这年八月，孙权率领十万大军围攻合肥。
面对十倍于己的敌军，合肥城内的将领们都忧心忡忡，于是他们打开了曹操留下的信。信中写道：“若孙权至者，张、李将军出战；乐将军守，护军勿得与战。”
看完信后，众人都感到疑惑不解。敌军十万，我军只有七千，固守都尚且困难，怎么还要主动出战呢？就在大家犹豫不决的时候，张辽站了出来，他解释道：“曹公远征汉中，等他率领援军赶来，合肥肯定已经被攻破了。所以曹公的意思是，趁敌人立足未稳，我们主动出击，挫败他们的锐气，这样才能稳定军心，之后才能更好地防守。成败之机，在此一战，大家不要再犹豫了！”
李典本来和张辽有些矛盾，但他听了张辽的话后，也深明大义地表示：“这是国家大事，我不会因为私人恩怨而耽误公事，我愿意和你一起出战。”看到李典愿意配合，张辽非常高兴，当即开始部署作战计划。
当天晚上，张辽在军中募集敢死之士，很快就召集到八百人。
他杀牛宰羊，犒劳这些勇士，激励大家明天奋勇杀敌。
第二天一早，天刚蒙蒙亮，张辽就身披铠甲，手持长戟，率领八百名敢死队率先冲入敌阵。
战场上，张辽大喊自己的名字，奋勇杀敌，很快就斩杀了两名东吴将领和十多名士兵。
随后，他率领士兵一路冲锋，势如破竹，竟然直接冲入了孙权的营垒当中，一直冲到了孙权的帅旗下。
孙权吓得魂飞魄散，连忙带着部下退到高处，用长戟自卫。
张辽在下面大声呵斥孙权，让他下来决战，孙权吓得不敢动弹。
过了一会儿，孙权才发现张辽带来的士兵并不多，于是下令将张辽等人团团围住。
张辽毫不畏惧，他率领身边的几十名士兵，左冲右突，竟然硬生生杀出了一条血路，冲了出去。
就在这时，张辽听到身后还有自己的士兵在呼喊：“将军，您要抛弃我们吗？”
张辽回头一看，还有不少士兵被围在阵中，于是他毫不犹豫，再次率军冲入重围，将剩下的士兵全部救了出来。东吴军队被张辽的勇猛吓得胆战心惊，没人敢上前阻拦。
这场战斗从早上一直打到中午，东吴军队的士气被彻底打垮，士兵们个个心惊胆战，再也不敢主动进攻。
张辽率领士兵返回合肥城后，城内的将士们才彻底安定下来，大家都对张辽的勇猛和智谋佩服得五体投地。
之后，孙权率领大军围攻合肥十多天，可始终没能攻破城池。
眼看士气低落，粮草也快耗尽，孙权只好下令撤军。
可他万万没想到，张辽竟然会率军追击。
当时孙权身处逍遥津北，张辽率领军队突然发起袭击，东吴军队猝不及防，顿时大乱。
东吴将领甘宁、吕蒙、凌统等人奋力迎战，才勉强保护孙权逃走。
凌统为了掩护孙权，率领三百名士兵死战不退，最后只剩下他一个人，身负重伤才得以脱身。
这一战，张辽差点就活捉了孙权，东吴军队损失惨重。
合肥之战，张辽以七千兵力大破孙权十万大军，创造了中国古代战争史上以少胜多的经典战例。
经此一战，张辽的威名威震江东，甚至留下了“张辽止啼”的典故——据说江东的父母们只要一提到张辽的名字，哭闹的小孩子就会吓得不敢出声。
曹操得知合肥之战的捷报后，对张辽的表现非常满意，当即授予他征东将军的职务。
建安二十一年（216年），曹操再次讨伐孙权，特意到合肥观摩张辽当年与孙权交战的地方，感叹了很久，随后下令增加张辽手下的士兵，并让他前往居巢防守。
建安二十四年（219年）十一月，关羽围攻驻守在樊城的曹仁，局势危急。当时孙权向曹操自称藩属，曹操于是召集张辽等人率军驰援曹仁。
张辽接到命令后，立即率军出发，日夜兼程赶往樊城。可就在他快要到达的时候，徐晃已经击败关羽，解除了樊城的包围。
虽然没能赶上战斗，但张辽的忠诚和执行力还是得到了曹操的认可。
之后，张辽在摩陂与曹操会合，曹操亲自乘车前往慰问他，这份待遇在曹营中是极为罕见的。