小的城池六座，兵力甚至一度恢复到达六万之众。
然而，没有了和大宋作战的压力，金人可以腾出手来对忠义军展开大规模的进攻和围剿。忠义军节节败退，接连遭到失败。面对接连的失败，忠义军内部也发生了问题。原本统帅在沦陷区的忠义军兵马的是原忠义军统帅王彦手下的一名将领叫李全。但李全此人显然没有王彦的威望高，所以其实整个忠义军分为数支兵马，各自有各自的领军之人。胜利时自然一切好说，一旦遭遇失败，几只兵马互相推诿责任，责怪对方作战不力，缩头缩尾云云，最终整个忠义八字军兵马分道扬镳，各自为战。
原本便是兵马劣势，情势危急之时，又发生分裂的行为，结果可想而知。金兵各个击破，绞杀数支忠义军兵马，杀害了大批义军将士。最终，只剩下李全一只不到万人的兵马被困在高邑县。那李全关键时候认了怂，决定放弃抵抗接受金人开处的招安条件投降金国。这个决定激怒了之前因为岳家军解散而带着部分兵马逃出来投奔忠义八字军的张敌万。张敌万因为是张宪之子，身份特殊，投奔前来之后，李全让他领着跟随他一起从岳家军来的千余名人手作为忠义军先锋营，给了他一个忠义军前军统制的官职。实际上便是利用张敌万的身份拉拢人心，另外利