湘军出师后，很快成为太平军的劲敌。但是初创不久的湘军作战并不很顺利，遭到几次重大的惨败，而且大多与曾国藩指挥不当有关。《湘军志》的作者王闿运曾评论说：曾国藩“以惧教士，以惧行军，用将则胜，自将则败”。这是符合事实的。

　　咸丰四年（1854年）四月初曾国藩亲自指挥靖港之战，湘军水陆两师遭到重创，他羞恨交加，投水寻死，被部下救起。次年1月他亲自指挥湖口之战，损失战船百余艘，他再次投水，又被救起。咸丰十年十一月（1860年12月），他设在祁门的大本营被围，这是最危险的一次。祁门在安徽省，处于群山之中。曾国藩于咸丰十年六月进驻祁门。不久，太平军开始第二次西征，西征南路军杨辅清、李侍贤等部进入皖南，兵锋直指祁门。十一月，太平军主将之一李秀成率大军进抵黟县，距曾国藩大营仅80里。当时曾国藩身边只有3000防兵，异常危急。有人劝他移营南昌，他不同意，说：“吾初次进兵，遇险即退，后事何可言？吾去此一步，无死所也。”太平军昼夜环攻大营。大营中人心惶惶，乱作一团，许多人打好行李，准备逃走。曾国藩内心之惊惧不亚于他人，但表面镇定如常。他写好遗嘱，帐悬佩刀，表示与大营共存亡。又向幕僚和下属表示，想要离开的请便，他发给路费，将来愿意回来的还可回来。这样一来，人心反而安定下来。不久湘军悍将鲍超率军赶来，击败李秀成，祁门解围。鲍超率亲兵至大营拜见曾国藩，曾国藩至营门迎接，他抱住刚刚下马的鲍超，说：“不想乃能与老弟见面！”言罢，泪如雨下，不能自持。由此可见在被围时他遭受了非同寻常的煎熬。

　　曾国藩在危难之时所表现出的坚毅性格和从容赴死的精神对于祁门解围和他一生的事业起了重要作用。他的这种性格和精神与他从小在山村中受过磨炼有关，也与理学的熏染有关。宋明理学讲究内省功夫，其缺点是“束书不观，游谈无根”，其优点是高度重视个人的道德修养，将儒家伦理性文化特点发展到极至，它造就出许多忠臣、义士。

　　曾国藩在祁门的表现受到下属和后世某些史家的称赞，但是他以祁门为大本营的决策却遭到一致批评。李鸿章就说过：“祁门地形如在釜底，殆兵家之所谓绝地。”然而，曾国藩却有自己的战略考虑。他在一道奏折中分析当时的战局说：自古平江南之贼，必踞上游之势，建瓴而下乃能成功。自咸丰三年金陵被陷，向荣、和春等皆督军由东面进攻，原欲屏蔽苏、浙，因时制宜，而屡进屡挫。迄今不能克金陵而转失苏、常，此非兵力尚单，实形势之未得也。今东南决裂，贼焰益张，欲复苏、常，南军须从浙江而入，北军须从金陵而入，欲复金陵，北岸则须先克安庆、和州，南岸则须先克池州、芜湖，庶得以上制下之势。若仍从东路入手，内外主客形势全失，必至仍蹈覆辙，终无了期。他视安庆为第一战略要点，认为安庆关系淮南全局，也是将来克复金陵的张本。基于这种战略考虑，他坚持派重兵围攻被太平军占据的安庆，自己也移师祁门，意在控制皖南，后来又移至东流，以便就近指挥安庆之战。咸丰十一年八月（1861年9月），湘军攻克安庆。由此战局一变，太平军已无力挽回败局。太平天国的干王洪仁玕在被俘后写过一篇自述，其中说到安庆陷落的影响：“我军最重大之损失，乃是安庆落在清军之手……安庆一失，沿途至天京之城相继陷落，不可复守矣。”其实在安庆陷落前，洪仁玕和太平军的另一重要将领陈玉成也都充分认识到安庆的重要战略地位，但未能守住。湘军攻克安庆后，便顺江而下，进逼天京。天京失去屏蔽，成为一座孤城，同治三年六月（1864年7月）被湘军攻克。洪秀全在城陷之前自杀。历时14年的太平天国起义悲壮地失败了。

　　湘军的势力随着军事上的节节胜利而迅速扩大。它先是镇压太平军，后来镇压捻军，再后来进入新疆平叛，其势力由湖南而遍及全国。王闿运在《湘军志》中不无夸张地写道：“湘军则南至交趾，北及承德，东循潮汀，乃渡海开台湾，西极天山、玉门、大理、永昌，遂渡乌孙。永属长江五千里，击柝闻于海。自书契以来，湖南兵威之盛，未有过此者也。”曾国藩和湘军将领们用太平天国和捻军将士的鲜血染红了自己头上的红顶子。早在咸丰八年（1858年）胡林翼就当上了湖北巡抚，他是湘军集团中第一个地方大吏，那时曾国藩仍以侍郎衔带兵。咸丰十年（1860年）曾国藩当上两江总督并节制江南军务，他随即保荐湘系将领李续宜、沈葆桢、左宗棠、李鸿章分别任安徽、江西、浙江、江苏四省巡抚，这四省巡抚又保荐自己的部下充任布政使、按察使。到同治三年（1864年），在全国8名总督中，有3名是湘系，他们是两江总督曾国藩、直隶总督刘长佑、闽浙总督左宗棠，此外四川总督骆秉章和两广总督毛鸿宾也与湘军关系密切，在全国15名巡抚中有7名出自湘军或与湘军关系密切，至于担任府道官员的湘军将领就更多了。从此湘系成为晚清政局中举足轻重的政治力量。