虽然如此，但是，华轶与司马睿之间仍然还有过节。透过史书的记载，这个过节大约起因于司马睿。可能是为尊者讳的原因，史家没有说明二人之所以产生矛盾的直接原因，只是在《晋书，华轶传》中，没头没脑地说了一句：“轶自以受洛京所遣，而为寿春所督，时洛京尚存，不能祗承元帝教命”，虽然没有说的很明白，但是，我们还是能够清楚，大约是司马睿接到了华轶的贡品，他就大头症发作，以为自己就可以对华轶指手画脚了，直接把华轶作为自己的下属看待，发布命令，作出指示。可是，当时的司马睿你只是都督扬州诸军事，怎么能对人家江州发布命令呢？华轶当然不卖他的帐了。等到晋怀帝任命司马睿为都督五洲诸军事的时候，双方嫌隙已成，华轶坚持说：“你命令我可以，但是，我得看看皇帝的诏书。”一幅公事公办的态度，这让司马睿十分不爽。
江州处于扬州上游，要保扬州，必须要先安定江州，再逐次巩固荆州。
于是，司马睿命令扬烈将军周访率众屯彭泽以防备华轶。周访不想使双方的矛盾表面化，当他经过姑孰的时候，写下《搜神记》的著作郎干宝去拜见周访，周访对干宝说出了此去自己的打算，他说：“我受到司马睿的差遣，去屯驻彭泽。彭泽是江州的西门。华轶有忧心天下的忠诚，但是，却不愿意受人摆布，这一段时间双方是非纷纭，结下了梁子。如今，司马睿又无故让我驻兵人家的家门口，这肯定会引起战火。我干脆就驻扎在寻阳的老城，一方面是在江西，可以捍御北方，另一方面，又没有逼迫华轶的嫌疑。”话虽这么说，周访此举未必不是一种麻痹华轶的战术——我还没有准备好，只是远远地看着你，先不刺激你。
在出兵威胁华轶的同时，司马睿也没有忘记从内部瓦解华轶集团。陶侃本来是荆州刺史刘弘的人，在击败了陈恢之后，陶侃的母亲湛氏去世了，陶侃弃官回家服丧，服丧以后，被司马越任用为参军。后来江州刺史华轶推荐陶侃为扬武将军，使屯夏口，又引用陶侃的侄子陶臻为自己的参军。在陶臻做参军期间，他亲眼目睹了华轶与司马睿之间的矛盾纠葛，因为担心引火烧身，就向华轶请了病假，回到陶侃身边，劝谏叔叔说：“华彦夏的确有忧天下之志，但是，他的才能却不足以干成大事，并且现在与琅邪王不和，大难将要到来了啊。”陶侃自小贫寒，前半生仕途坎坷，受到华轶引荐，对华轶的知遇之恩，是十分感激的，当他听了华臻的话以后，不禁大怒，又把陶臻遣还回南昌。陶臻看到叔叔固执己见，在回去上班的途中，顺流而下东去投靠了司马睿。陶臻的到来，无疑是司马睿瓦解华轶内部的第一步，见到陶臻以后，司马睿不禁大喜过望，立即任命陶臻为参军，并通过陶臻加封陶侃为奋威将军，给予赤幢曲盖轺车、鼓吹的高规格待遇。
理智、现实、权势终于战胜了感情，陶侃权衡再三，终于做出了与华轶分道扬镳的决定。本来华轶让陶侃驻军夏口，是为了防备自己的西北侧翼，为的是一旦大难来临之际，确保荆州方向山简可能自上游而来的夹攻，并适时从上游而下打击扬州，如今陶侃的叛变，可以说让华轶失去了一支重要的力量。
其实，防备山简是多余之举。当听到司马睿讨伐华轶的时候，年届60的厚道人山简对手下说：“我与华彦夏是老朋友，如今真的为他感到惆怅。我山简岂是那种拿别人的鲜血染红自己官帽的人！”
等到洛阳陷落，司空荀籓发出檄文，推举司马睿为盟主。于是，司马睿更是要名正言顺地架空华轶，他把江州的地方官都任命为自己的人，这下，华轶不干了。
这当然是司马睿在主动挑衅，以此为借口，司马睿派遣左将军王敦都督甘卓（时为前锋都督、扬威将军、历阳内史）、周访（与陶侃为儿女亲家，为扬烈将军）、宋典、赵诱（王敦参军，加广武将军），几乎是倾尽全力讨伐华轶。
华轶命令别驾陈雄屯兵彭泽与王敦对垒，自己亲自率领水军作为陈雄的外援。命令武昌太守冯逸进军湓口，对付周访。
战斗首先在冯逸与周访之间展开。
在战斗开始之前，周访发现自己手下的厉武将军丁乾与冯逸暗中往来，周访立即秘密收斩了丁乾。冯逸不知道丁乾已经被杀，自以为胜券在握，一旦开战，丁乾会临阵投降，周访必败无疑，于是，他胸有成竹地率军进攻周访，岂料周访早已做好了痛击来犯之敌的准备，战斗打响以后，冯逸预料中的敌人内乱的情况并没有发生，结果，被周访打得大败。冯逸只好退守柴桑，周访乘胜进讨。华轶闻讯，赶紧派遣王约、傅札等率万余人去救援冯逸，与周访军在湓口大战，王约、傅札又被周访击败。
两战两胜以后，周访与甘卓等部在彭泽会师，与华轶的水军朱矩等交战，又一次打败了华轶的水军。
屡战屡败，促使了江州内部人心的动摇。前江州刺史卫展（卫瓘的族侄，著名书法家卫夫人之父，卫玠的族叔）退下来以后，现任的刺史华轶对老同志礼数不到，卫展内心一直怏怏不快。看到华轶一再战败，趁机说服豫章太守周广，作为司马睿的内应，周广烧毁后方的州城，响应扬州方面的军队，并率军偷袭华轶的前线部队。猝不及防的华轶军在内外夹击下，顿时崩溃，华轶逃到安城（江西省安福县），被周访抓获。周访杀掉了华轶及其五子，皆传首建鄴。（此时还叫建业，等愍帝司马邺即位以后，为了避讳，才改称为建康）裴宪逃到了幽州王浚那里。
此战周访的功劳最大，被司马睿加封为振武将军、寻阳太守，加鼓吹、曲盖，自此，司马睿的势力才真正伸向了江州。接着，司马睿又任命甘卓为湘州刺史，任命扬武将军陶侃为武昌（今湖北鄂州市）太守，显示出了夺占荆州、湘州的决心。