前来投奔太平军的是一伙因李定国退兵后归路遭清军截断，而不得不散落在新会附近的明军残部，他们的领头人叫齐豪，队伍里的人又称他为“四哥”。说起来，这齐豪并非南方人，而是凤阳府人士，且还是来头颇大之人，和张献忠瓜葛不浅。
    崇祯九年，张献忠率军攻破中都凤阳时，时年只有十八岁的齐豪因饿得活不下去，又见农民军势大，连大明皇帝的祖坟都给刨了，脑子一热便索性参加了农民军，其后便跟着张献忠的军队到处转战，做起了把脑袋系在裤腰带上只为求口饭吃的卖命勾当。因他年轻，又幼时学得几手拳脚功夫，故而这几年征战下来不仅没有送命，反而在军中渐渐出人头地起来。
    崇祯十六年，张献忠攻占湖北后改武昌为京都，自称大西王，其部农民军也随之称为大西军，这年已经25岁的齐豪在大西军中也成了一名军官，手下管着几百号人，算是个不大不小的人物了。后来张献忠见李自成已占领北京，便决定入川建立属于他的基业，命令大西军向四川开进，身为大西军的一员，齐豪自然也跟着入川。
    崇祯十七年八月，大西军进攻重庆，此役齐豪因冲锋在前，率先执杀明巡抚陈士奇立下大功，被张献忠破格提为身边亲军营将。大西军占领成都后，张献忠改成都为西京，正式建立大西国，改元大顺，以崇祯十七年为大顺元年，置内阁和六部，对前明投顺官吏加以任用，以汪兆龄为内阁大学士兼左丞相，严锡命为大学士兼右丞相。
    大西政权建立后，张献忠即开始经营四川，招揽流民，恢复生产，他严厉镇压横暴地方的前明官绅和地主，在大西军内部则严格约束士卒，不许淫掠，对违纪者有由“捆打”至“枭示”的处罚。同时张献忠还命令释放前明狱中囚犯，将各府县的库金银赈济流民。张献忠的这些措施使得四川人心短时间内得以安定，过去曾受前明官绅地主压迫的奴仆或纷起暴动响应大西军，或向大西政权的地方官府告发故主罪状，使其受到制裁。
    同年，张献忠改革大西军制，特设大西军各部为120营，每营都设总兵。齐豪更由张献忠亲自点名提为这120名总兵官之一，其顶头上司便是大西皇帝义子、定北将军艾能奇。
    大西军经营四川期间，李自成领导的大顺军已在清军进攻下逐渐败亡。清军占领黄河流域各省后，分兵南下。伪清顺治二年，清廷派人入川向张献忠招降，被张献忠以己为汉人绝不降虏严加拒绝，并召集文武计议抗清，恢复中原。
    顺治三年八月，清肃亲王豪格统兵逾剑阁入阆中，张献忠闻讯亲自率大西军主力迎击，至西充的凤凰山，清兵猝至，因疏于防备，大西军一时未及投入作战，结果混乱中，亲自敌前察看的张献忠被清军弓箭射死。
    张献忠战死后,面对豪格大军的进逼，大西军群龙无首不得不向南撤退，此时大西军后面是穷追而来的清军，前面则是凭借长江扼守的南明军队，大西军几乎走到了山穷水尽的境地。彼时军中人心混乱，士气低迷，不少大西军在四川招收的士兵都纷纷开了小差，更有不在少数的军官携金潜逃。面对此危局，齐豪却坚定的相信大西军不会败亡，他竭力约束部下，使得其部成为少数几支没有士兵逃跑的营头，得到艾能奇的夸赞。
    为了应对危局，张献忠养子孙可望、李定国、刘文秀、艾能奇四人一致决定把干涉大西军指挥的张献忠皇后和臣相汪兆龄处死，四人也同时各自恢复原姓，形成大西军由四将军领导的体制。四人中孙可望原来的地位和威信比较高，年纪稍大，又读书识字，故而被李定国、刘文秀、艾能奇共推为首，成了大西军余部的最高指挥者。
    解决了内患后，大西军余部在孙可望、李定国、刘文秀、艾能奇的领导下，集中于四川綦江，收集溃散，重整队伍。在此次重整中，张献忠所设的120营被裁撤，齐豪所部被直接拨入艾能奇麾下调用。其后，在孙可望等人指挥下，重整后的大西军一举击破据守重庆的南明总兵曾英部，曾英落水淹死，部众溃逃，大西军由此渡过长江天险，进入遵义。由于清肃亲王豪格派遣的军队追踪而来，大西军继续南撤，进入贵州，顺利地占领了省会贵阳。
    明贵州按察使张耀、布政司参议曾益、都指挥使陈瑞征等逃到定番州，拼凑了一批兵马负隅顽抗大西军。孙可望遂派定北将军艾能奇领兵进攻这这股明军残兵。此战，齐豪被艾能奇委以前锋，于二月十二日率先攻克定番，生俘贵州按察使张耀。后困所占地区地方残破，到处是一片荒芜，军中粮食接济不上，艾能奇被迫带领齐豪等人回师。
    大西军在贵阳安整期间，云南发生土司沙定洲造反事件,致使明黔国公沐天波逃离昆明，孙可望便以为黔国公复仇的名义出兵云南。大西军开进昆明,四将军共同称王，孙可望称平东王，李定国称安西王，刘文秀称抚南王，艾能奇称定北王。原各王麾下所属仍由各王直接提制。
    顺治四年，孙可望派刘文秀出征川南,同年大西军与南明永历朝廷展开联合抗清的谈判。
    永历二年(伪顺治五年）五月，艾能奇率领齐豪等将出征东川土司叛乱，结果兵马进至东川府三十里处，突然遭遇埋伏道路两侧的禄氏土兵袭击，前锋将齐豪率部拼死抵御，掩护中军后撤，岂料禄氏土兵携有大量染毒箭枝，艾能奇于后退途中被土兵毒箭射中，连夜抬回昆明，结果不治身亡。
    艾能奇战死后，孙可望、李定国、刘文秀三人大怒，增派兵马再次进攻东川，此役原定北王麾下诸将带罪立功，齐豪为洗主将阵亡之耻，亲自带人攀爬绝壁小道，一举从后击溃散禄氏土兵，彻底占领东川及其附近各县。
    东川之战后未过多久，艾能奇部下的将领便面临人生重大选择，他们必须从孙可望、李定国、刘文秀这三个王爷中选择一名效忠，因孙可望是平东王，声望和权势最大，故不少艾能奇部下的将领都选择归顺孙可望。
    但齐豪却因投奔孙可望的将领太多，本身孙可望麾下的兵马也是最强，多他一个不多，少他一个不少，自己投了孙可望未必会和从前在艾能奇麾下一样得到重用，反而倒是选择投奔李定国或是刘文秀对自身未来发展有利。抱着这样的念头，齐豪便向孙可望派来的兵部官员表达了愿归安西王麾下的意愿，孙可望得知他的决定后并未阻拦，但也因此对齐豪心生不满。
    归调李定国麾下后，齐豪并未如同事先所想那般得到李定国的重用，但也未遭到排挤，只是不如李定国原先那些亲信将领般亲近，其它一应军中待遇倒也不厚此薄彼，这让齐豪在失望的同时也稍稍欣慰。
    其后几年，齐豪便在李定国的麾下参与了衡阳之役和桂林之役。衡阳之役，齐豪部并未正面与清军厮杀，而是承担后勤粮草输送任务，李定国阵斩尼堪后占领衡阳后，齐豪被李定国委任为衡阳守备。然而未过几月，因湖南清军主力未因尼堪被杀而大伤元气，孙可望又没有对李定国提供足够的支持，反而暗中拖李的后腿，致使清军在喘息之后卷土重来。
    面对清军的优势兵力，只有2000多兵马的齐豪不得不弃守衡阳，退回武冈。此虽非是齐豪之过，但李定国却仍以他未经一战便轻弃重地的罪名大加责罚，削去其总兵一职，改由参将衔军中效命。李定国部署桂林之役时，齐豪率部赶赴中军听命，参与攻占全州之役，其后继续从事后勤粮草运输任务，为攻打桂林的大军保障粮草供给。
    别人都是干得冲锋陷阵，斩将夺旗的威风事，自家却总是干押送粮草的后勤事，有功劳是别人的，有罪过却是自家的，时日久了，齐豪心中难免没有看法，再加上李定国此人虽是难得大将，可却对非其嫡系的兵马将领有排斥之心，这让齐豪对当初的选择多少有些后悔。一日酒后更是发了几句牢骚，不料却被人报到了李定国那，结果李定国虽没有对他如何，但从此以后更是不加重用。
    永历七年（顺治十年）李定国因受孙可望逼迫而转战广东，率军攻打重镇肇庆，此战齐豪受命先参加进攻梧州之役，后率军占领开建，未直接参与攻打肇庆之战。次年，李定国二打广东，绕开重镇肇庆，兵锋直指新会，初始，齐豪并未受命东进，而是留守梧州。后围城数月不果，李定国便命齐豪率部策应凌海将军陈奇策的水师进入西江，攻占江门。此役齐豪配合陈奇策部击毙清广东水师总兵盖一鹏，控制广州出海口，切断了新会同广州的通道。广东清军当局见形势危急，平南尚可喜和靖南耿继茂亲自率兵前往江门，加强广州南面和西面的防务，但仍是不敢与李定国主力决战。
    十月初三，李定国亲统大军号称二十万对新会发起总攻，明军先后采取掘地、大炮轰城、伐木填壕等战术等强攻，却被负隅顽抗的守城清军一一击退，进攻并未得手。在此期间，齐豪带领手下兵马一直驻于江门，与当面清军进行小规模的接触，各有胜负。
    十二月，清靖南将军朱马喇率领满、汉八旗清军从北京赶至广州，有了满州兵的壮胆，尚可喜和耿继茂随后也齐发广州清军主力配合朱马喇向新会发起攻击。因军中染役，明军与清军激战四日，全线败退。
    李定国大军主力后撤后，散落在新会附近州县配合大军作战的其余明军顿时陷入进退两难境地，除凌海将军陈奇策仗着水师安然出海撤走外，其余深入新会附近的明军都被清军截断后路，或全军被歼，或大部被歼，余者分散活动。这当中，损失最重的就是那些响应明两广总督连城壁的义师，几乎大半都被清军一网打尽。
    齐豪是在李定国大军撤走后的第四天才知道自己成了孤军的，一开始他也试图率部突围，可是清军已将各处西撤道路加以封锁，优势兵力的满汉清军各处出击，到处都是明军被歼的消息传来。在两次强行突围失败，部下损失一半后，齐豪不得已只能下令部下分散突围，自己率领数十名老弟兄潜入山区，以待清军封锁结束再行西撤。
    这一等就是大半年时光，期间齐豪等人一直幻想安西王大军再次东进，可是等来的只是清军不断的搜山，当初一同潜入山中的几十名弟兄也死了一半。
    躲在山中，没有吃没有喝，甚至连睡的地方都没有，今日不知明日事，谁也不知道自个何时死。渐渐的，齐豪的心也凉了下来，受于生计所迫，他不得不带着手下兄弟做了些土匪勾当，沾了无辜百姓的性命，若不是太平军突然占领新会，恐怕他们从此以后真就要落草为寇了。