但是，董卓的命令到达阳城之后，情况就没有这么顺利了。
原因呢，就出在李榷等董卓心腹大将的身上，因为他们全都得罪过曹聚，唯恐不被曹聚所容。
李榷、郭汜、樊稠和张济，几乎是跟随董卓最早的人，但是，论及统兵能力，他们跟胡轸相比却是差了太远。
董卓在的时候，以胡轸为帅，他们四个为将，倒也是没什么，李榷四人都不敢不听胡轸的号令。但是，董卓将死，局势自然就大不相同了，胡轸镇不住这四人。
李榷四人的思路是一样的，董卓死后，率众投奔什么人都可以，却惟独不能投奔曹聚。
但是，胡轸却不这么想，他是个帅才，知道曹聚的厉害，更知道曹聚是明主，而且，天下之大，敢与收留董卓旧部的人不多，唯曹聚的能力最强。
李榷等人叫嚣着不能投奔曹聚，胡轸并没有发表意见，李榷等人讨论着应该投奔哪一方诸侯，胡轸也没有发表意见。
江南三州，幽州，全都是刘氏宗亲，绝对不可能接受他们的。
关东诸侯，一直在讨董，当然也不能接受他们。
想来想去，只有一个徐州陶谦了，他曾经接受过黄巾贼的投诚，按说也应该能接受他们的投奔，毕竟还有这么多西凉骑兵。
除此之外，就只有凉州韩遂和马腾了，只是，要想去西凉，或者从雍州进入，或者从并州进入，这两个地方的主人似乎都不会允许的。
一天的商议之后，李榷四人都心里没底了，如果陶谦接受他们，可能就会面临诸侯联军的发难，而如果陶谦拒绝他们，他们就真的无路可走了。
胡轸回去之后，翻来覆去睡不着觉，他跟李榷四将不同，他还是比较洁身自好的，府中下人并无大恶，而且，他跟曹聚之间并无任何的冲突，只要真心投奔曹聚，以他的才能，必然会受到曹聚的重用，所以，胡轸不打算跟着李榷四人乱投。
这支军队一共五万，守城损失四千，还有四万六千人，而真正能被胡轸掌控的，也只是六千人马，其余四万人分别掌控在李榷四将手中。
一番思索之下，胡轸决定连夜离开，向西投奔曹聚。
好在胡轸早有明智之举，四城的城门，因为东城门受到攻击最厉害，胡轸是命李榷和郭汜二将率部坚守，南门由樊稠坚守，北门由张济坚守，而西门则是由他本部坚守。
刘备急于攻下阳城，便主攻东门，辅攻南门和北门，只有西门没有受到刘备军队的攻击，这是辛毗的计谋，围三缺一，不想竟然便宜了胡轸。
胡轸率部趁夜离开，竟然没有惊动李榷四将，直到第二天早上，有士兵无意中发现西门竟然是空无一人，急忙报告给李榷四将，他们这才知道胡轸瞒着他们离开了。
李榷大怒，说道：“没想到胡轸竟然西向曹聚，着实可恨。”