于是李世民命令唐将屈突通率领五千步兵过谷水进击王世充，并告诫屈突通道：“军队一交锋立即放烟为信。”待到起烟， 李世民带领骑兵向南冲击，身先士卒，与屈突通汇合兵力奋力战斗。战斗中，李世民想了解王世充军阵兵力分布情况，率几十精锐骑兵冲入敌阵，一直冲到敌阵背后，不可阻挡，杀伤很多敌人。不久因长堤所限， 李世民和众骑兵走散，唯有将军丘行恭跟随着李世民。几名王世充的骑兵追上来， 李世民的坐骑中箭倒毙。丘行恭调转马头向回骑，射击追赶的郑兵，并且箭无虚发，使得追兵不敢向前。之后丘行恭下马将自己的坐骑让给李世民，自己在马前步行， 手执长刀跳跃大吼，连杀数人，最终冲出王世充军阵，回到唐军大部队。王世充也率领部下进行殊死战斗，军队几次三番被打散后又集合起来。鏖战从上午直至中午，王世充的军队才退军。李世民则挥军追击， 直到城下，这次又俘虏歼灭了郑军七千人。
在这次反击突围被击破之后，王世充已无法发动大规模的突围战。此后李世民的唐军一直包围着洛阳城，但作为长期“东都”，洛阳的城防非常坚固，城内郑军的防御武器也非常精良。其中郑军拥有射程达到两百步的投石机，以及射程达到五百步、八张弓合在一起的巨型床弩，这些武器都给唐军造成了不小的伤亡。李世民四面攻城，昼夜不停，十几天未能攻克。城中先后十几次有人想打开城门接应唐军，均没有来得及发动就被郑军发现杀死。因此在城外野战唐军总是击溃郑军，但唐军却无法攻克洛阳城。
这样，本来连战连捷、士气高涨的唐军将士都疲惫不堪，想回关中。总管刘弘基等人请求班师回朝，李世民则说：“如今大举而来，应当一劳永逸。洛阳以东各州已望风归服，唯有洛阳一座孤城，其势已不能持久，成功在即，怎么能放弃而回朝呢？”于是下令全军：“洛阳不破，决不回军，再有胆敢提起班师的一律斩首！”众人这才不敢再提班师一事。李世民的父亲李渊听说后，也下密敕让李世民还军，但在李世民和一部分朝臣的坚持下，最终李渊还是听从了李世民的建议让他继续坚持攻击。
李世民的军事威望与力排众议的决心让疲惫的唐军继续保持围攻，这无疑是正确的。洛阳城内部补给恶化的状态一直持续到了冬季，所有的食物价格飞涨。到了公元621 年3 月， 百姓把草根树叶都吃光了，就一起澄取浮泥，放入米屑做成饼吃。吃了这种饼后很多人生了病，身体肿胀、脚跟发软，城中到处都是饿死的士兵和百姓，这让郑军的士气降至冰点。
但军事突围并不是王世充最后的希望。其实在与唐军进行了几次外围遭遇战后，王世充就知道，自己的军队无论是数量还是作战素质都要逊色于唐军。因此在公元620 年底，他就向河北的窦建德发出了求救信号。窦建德则决定集结一支庞大的军队前往洛阳，援助王世充。
公元620 年底，河北的窦建德已经击败了一支由孟海公率领的武装力量，并尽收其部属。援助王世充的夏军人数非常庞大，拥有十万至十二万人的兵力。他们接连攻陷了荥阳、阳翟等县，水陆并进。为这支大军提供补给的大量船只和车辆，向西溯黄河而上。窦建德亲自领兵，并打着三十万人的旗号，企图在气势上压垮对方。
窦建德此次兴兵毕竟声势浩大，导致李世民的将领们产生了分歧。一部分将领，诸如屈突通等，认为要避开窦建德的兵锋；郭孝恪与记事薛收都认为应该分兵迎敌， 而主帅李世民也是这个意见。“世充兵摧食尽，上下离心，不烦力攻，可以坐克。建德新破海公，将骄卒惰，吾据武牢，扼其咽喉。彼若冒险争锋，吾取之甚易。若狐疑不战，旬月之间，世充自溃。城破兵强，气势自倍， 一举两克，在此行矣。若不速进，贼入武牢， 诸城新附，必不能守；两贼并力，其势必强， 何弊之承？吾计决矣！”
秦王同时也拒绝了屈突通请求解除对洛阳的包围圈、以全部兵力迎击窦建德的提议。李世民将军队分成两部分，以屈突通等协助齐王李元吉继续围攻洛阳，他自己则率领三千五百名最精锐的骑兵向东部开赴虎牢关，扼守住这一重要关口，阻挡住窦建德大军的进击。这三千五百名骑兵中的一千名就是精锐中的精锐——玄甲军。
