谢安的父亲谢裒，官至太常卿，是朝中颇有地位的官员；堂兄谢尚，更是文武双全，镇守一方，是谢家的顶梁柱。
出生在这样的家庭，谢安从小就接受了最好的教育，加之他天资过人，自幼便展现出异于常人的聪慧与气度。
据《晋书·谢安传》记载，谢安四岁时，谯郡名士桓彝见到他，当即惊叹不已，拉着他的手赞叹：“此儿风神秀彻，后当不减王东海！”王东海是当时名满天下的名士王承，以风度、才学、德行着称，桓彝将年幼的谢安与王承相比，足见对他的看重。
长大之后，谢安更是出落得风神俊朗，气度沉稳，不仅精通诗词文赋，写得一手好行书，更擅长清谈玄学，谈吐之间引经据典，从容雅致，让无数名士折服。
成年后的他，前往拜访当时的文坛领袖王蒙，与王蒙清谈许久，离开后，王蒙的儿子问父亲：“刚才这位客人，和您相比如何？”王蒙感慨道：“此客言辞恳切，神采逼人，将来必定是人中龙凤。”
连当时的丞相王导，都对年轻的谢安青睐有加，认为他是不可多得的人才。
按照常理，出身名门、才名远播的谢安，本该顺理成章步入仕途，凭借家世与才学平步青云，光耀门楣。
可偏偏，谢安从年少时，就对官场名利毫无兴趣，他心中向往的，是山水田园，是诗酒风流，是无拘无束的隐士生活。
东晋朝廷看重他的才名，早早便征召他入司徒府任职，授予佐着作郎一职，这在当时是无数士族子弟梦寐以求的起点，可谢安却毫不犹豫，以身体有疾为由，直接拒绝了征召。
此后，朝廷又多次征召，要么授予尚书郎，要么让他担任琅琊王友，吏部尚书范汪更是亲自举荐他为吏部郎，可谢安全都一一回绝，甚至写信直接拒绝，态度坚决，没有丝毫回旋的余地。
他索性离开繁华的京城建康，迁居到会稽郡的东山，过上了隐居生活。
会稽山水秀美，山清水秀，是当时名士隐居的首选之地。
谢安在这里，结识了王羲之、许询、支遁等一众文坛名士、得道高僧，他们志趣相投，终日相伴，过着神仙般的日子。
出门时，他们便结伴渔猎，泛舟江上，登临高山，赏遍会稽山水；归家后，便围坐在一起，吟诗作文，清谈玄学，纵论天下，好不惬意。谢安彻底沉浸在这样的生活里，丝毫没有入世为官的想法，即便朝廷多次催促，甚至有官员上奏，说他常年不应征召，应当禁锢终身，他也毫不在意，依旧栖迟于东山山水之间，逍遥度日。
有一次，谢安和孙绰等人乘船出海游玩，行至海中，突然狂风大作，巨浪滔天，船只摇摇晃晃，随时有倾覆的危险。同行的众人全都吓得脸色惨白，惊慌失措，唯有谢安，坐在船头，吟啸自若，神色平静，仿佛眼前的惊涛骇浪不过是微风拂面。
船夫见谢安神色从容，以为他喜欢这般风浪，便继续驾船前行，可风浪越来越大，船只愈发危险。
这时，谢安才缓缓开口：“这般风浪，我们该如何回去呢？”船夫这才回过神，立刻调转船头，驾船返回岸边。
众人看着依旧淡定的谢安，无不佩服他的雅量与胆识，纷纷感叹，谢公这般气度，绝非普通人能比。
谢安隐居东山期间，虽不问世事，可他的名声却越来越大，天下人都知道，东山有一位才学过人、气度非凡的谢安石，不肯为官，只愿做个隐士。
当时的人们，常常聚在一起议论：“安石不肯出，将如苍生何！”
意思是，谢安这样的大才，不肯出山做官，天下百姓该怎么办呢？在世人心中，谢安早已是能拯救苍生的人物，只盼着他能早日入世，辅佐朝廷，安定天下。
可谢安，依旧不为所动。
他的妻子，是名士刘惔的妹妹，看着谢家子弟，要么入朝为官，身居高位，要么镇守一方，荣华富贵加身，唯有自己的丈夫，隐居东山，甘于平淡，便忍不住劝他：“大丈夫生于世间，理应追求功名富贵，光耀门楣，你怎能一直这样隐居山林，虚度光阴呢？”
谢安听后，轻轻掩着鼻子，笑着说道：“恐怕我终究免不了要出山啊。”
彼时的他，或许还没想到，这句随口说出的话，日后竟会成真。而让他改变初心，放弃山水田园，步入官场的，不是朝廷的威逼利诱，不是名利的诱惑，而是家族的兴衰。
谢安隐居东山，逍遥度日，可他的家族，却在官场之上历经波折。
他的弟弟谢万，时任西中郎将，总领一方军事，镇守豫州，是谢家在朝堂上的重要依靠。
可谢万虽有才华，却生性高傲，不擅治军，对待士兵刻薄寡恩，毫无将帅之风，谢安多次劝说弟弟，要善待将士，稳固军心，可谢万始终不听。
升平三年（公元359年），谢万奉命率军北伐前燕，他在军中依旧傲慢无礼，不体恤士兵，行军