和曾国藩有关的是太平天国的西征，曾国藩清醒地认识到，太平天国定都南京后，必力争安庆、九江、武昌以至湖南、荆州。倘若太平军将长江四千里占据，那中国将被一劈为二，南北交通隔绝，后果不堪设想。他更意识到，武昌是长江的重镇，雄踞江汉，武昌的得失，关系到南中国特别是湖南的安危、长沙的存亡。所以，他出师的直接目的就是和太平军争夺武昌。
从衡阳出发前，曾国藩咬着笔头，倾尽所有情感写了一篇战斗檄文，这就是19世纪中国最有名气的文章之一——《讨粤匪檄》：
逆贼洪秀全、杨秀清（太平天国二号人物）称乱以来，于今五年矣。荼毒生灵数百余万，蹂躏州县五千余里，所过之境，船只无论大小，人民无论贫富，一概抢掠罄尽，寸草不留。其掳入贼中者，剥取衣服，搜括银钱，银满五两而不献贼者即行斩首。男子日给米一合，驱之临阵向前，驱之筑城浚濠。妇人日给米一合，驱之登陴守夜，驱之运米挑煤。妇女而不肯解脚者，则立斩其足以示众妇。船户而阴谋逃归者，则倒抬其尸以示众船。粤匪自处于安富尊荣，而视我两湖三江被胁之人曾犬豕牛马之不若。此其残忍惨酷，凡有血气者未有闻之而不痛减者也。
自唐虞三代以来，历世圣人扶持名教，敦叙人伦，君臣、父子、上下、尊卑，秩然如冠履之不可倒置。粤匪窃外夷之绪，崇天主之教。自其伪君伪相，下逮兵卒贱役，皆以兄弟称之，谓惟天可称父，此外凡民之父皆兄弟也，凡民之母皆姊妹也。农不能自耕以纳赋，而谓田皆天王之田；商不能自买以取息，而谓货皆天王之货；士不能诵孔子之经，而别有所谓耶稣之说、《新约》之书，举中国数千年礼、义人伦诗书典则，一旦扫地荡尽。此岂独我大清之变，乃开辟以来名教之奇变，我孔子孟子之所痛哭于九原，凡读书识字者，又乌可袖手安坐，不思一为之所也。