黄初二年（公元221年），曹丕派遣使者邢贞来到江东，册封孙权为吴王。邢贞自恃是曹魏使臣，进入吴国王宫时，竟然不下车，态度傲慢无礼。满朝文武敢怒不敢言，又是张昭挺身而出，厉声呵斥邢贞：“礼仪讲究恭敬，法度贵在执行，你竟敢如此妄自尊大，难道是觉得我江东弱小，没有能斩杀你的利刃吗？”
邢贞被张昭的气势震慑，吓得立刻下车行礼，不敢再有丝毫傲慢。
事后，孙权任命张昭为绥远将军，封由拳侯，对他的敬重更胜从前。
后来，孙权设立丞相之位，满朝文武都举荐张昭担任，认为他德高望重，才学过人，是丞相的不二人选。
可孙权却拒绝了众人的提议，说道：“如今国家多事，丞相职位责任重大，并非是用来优待老臣的。”
等到首任丞相孙邵去世后，百官再次举荐张昭，孙权依旧拒绝，他坦言：“我并非对子布有所偏爱，只是丞相事务繁杂，而子公性情刚烈，若是他的建议不被采纳，必然会心生怨恨，这对他、对国家，都没有好处。”
最终，孙权任命顾雍为丞相。
孙权的这番话，道尽了张昭的性格特点，也道出了他不用张昭为相的真正原因。
张昭的刚直，是他的优点，也是他的缺点，他太过坚持原则，不懂变通，在朝堂之上，容易得罪人，也容易与主公产生矛盾，丞相之位，需要的是能调和各方、灵活处事之人，张昭显然并不适合。
黄龙元年（公元229年），孙权登基称帝，建立东吴政权。
张昭以年老多病为由，请求辞去官职与兵权，告老还乡。
孙权感念他多年辅佐之功，不舍得让他彻底隐退，于是拜他为辅吴将军，地位仅次于三公，改封娄侯，食邑万户，让他安享晚年，无需再处理繁杂政务。
即便退居二线，张昭依旧心系国事，只要朝堂有失，他便会直言进谏。
晚年的张昭，在家中潜心着书，写下《春秋左氏传解》《论语注》等着作，将自己一生的学问流传后世。
嘉禾元年（公元232年），辽东太守公孙渊派遣使者来到江东，向孙权称臣，请求孙权册封他为燕王。
孙权大喜过望，觉得这是扩大东吴势力、牵制曹魏的大好机会，当即决定派遣张弥、许晏两位大臣，率领万余士兵，携带大量金银珠宝，前往辽东册封公孙渊。
消息传出，张昭立刻入宫劝谏，坚决反对此事。他对孙权说：“公孙渊之所以向我东吴称臣，并非真心归附，而是因为他背叛了曹魏，害怕被曹魏讨伐，才远道而来求援。若是公孙渊日后改变主意，向曹魏表忠心，必定会杀害我东吴使臣，到时候，我东吴岂不是要被天下人耻笑？”
张昭言辞恳切，反复劝谏，可孙权早已被眼前的利益冲昏头脑，执意要派遣使臣前往辽东。君臣二人在朝堂之上争执不下，张昭态度越发坚决，孙权也被激怒，手按刀柄，怒声说道：“东吴的士民，入宫拜我，出宫拜你，我对你的敬重，已经到了极致，可你却屡次在朝堂之上当众折辱我，我真怕自己会一时冲动，做出后悔之事！”
面对孙权的怒火，张昭毫无惧色，他凝视着孙权，泪流满面地说道：“我明知自己的建议不会被采纳，却依旧竭尽愚忠，只因当年太后（孙策之母吴氏）临终前，将老臣叫到床边，留下遗诏顾命，嘱托我辅佐陛下，这份恩情，我至死不敢忘！”
一番肺腑之言，让孙权也为之动容，他当即扔刀在地，与张昭相对而泣。可即便如此，孙权依旧没有收回成命，还是派遣张弥、许晏前往辽东。
张昭见自己的忠言不被采纳，心中悲愤交加，一气之下，称病不再上朝。
孙权得知后，心中也有怨气，觉得张昭是故意给自己难堪，便命人用土堵住张昭家的大门，意思是让他永远不要出门。
张昭见状，也来了脾气，命家人在门内也用土封死，与孙权对峙起来，君臣二人的矛盾，彻底激化。
没过多久，果然如张昭所料，公孙渊斩杀了张弥、许晏，将二人的首级送给曹魏，以此向曹魏表忠心，东吴派出的万余士兵与大量财宝，尽数落入公孙渊手中。
消息传回江东，孙权追悔莫及，这才明白张昭的远见卓识，连忙派人前往张昭府中，向他赔礼道歉，希望他能重新上朝。
可张昭依旧余怒未消，坚决不肯起身。孙权无奈，亲自驾车来到张昭府门前，呼喊张昭，张昭却以病重为由，拒绝相见。孙权一气之下，命人放火烧张昭家的大门，想以此逼迫他出门，可张昭非但不出来，反而命家人紧闭门窗，宁死也不肯见孙权。
孙权见状，又连忙命人灭火，在张昭府门前久久伫立，不肯离去。
张昭的儿子们见此情景，知道父亲与主公的矛盾该化解了，连忙一起搀扶着张昭出门相见。
孙权见到张昭，心中愧疚万分，连连向他赔罪，言辞恳切。张昭见孙权如此诚意，心中的怨气也渐渐消散，最终选择原谅孙权，重