臣怎敢抗旨不遵？尽管全歼格谦部的机会就在眼前，他也只好遵旨，解散了部曲，放由划归他统带的这万余府兵官兵，各还他们各个军府的本来驻地。
兵马既散，格谦部义军，杨义臣当然亦即没法再作进讨，他奉旨还回了朝中，格谦部却是因此得到了喘息。本是已经支撑不住的格谦，再次举旗聚众，部曲得到了复振。
令杨义臣放散部曲、召杨义臣还朝，固如房彦藻所评，杨广这一举可谓昏招。
杨义臣进剿高士达时，窦建德曾与高士达说：“历观隋将，善用兵者唯义臣耳”。杨义臣是隋室的两朝老将，早在隋文帝杨坚时，他就带兵为将，数与突厥、吐谷浑等战，战无不胜。今奉杨广之旨，进兵河北，从张金称、到高士达、再到格谦，亦是无往不克。如果能把他留在河北，再多给他些时日，河北的这些义军，说不得，还真会被他尽数平定！
可是杨广却听信虞世基的谗言，把他给召了回去！
但杨广毕竟曾是有雄略之主，倒也不是一味昏庸，尽管召回了杨义臣，但他同时也又派出了一臣，接替杨义臣，继续在河北讨贼。这个被他另外派出的臣，便是新任的江都通守王世充。
……
王世充的名字，是个地道的汉人名字，可他却非是汉人。
其本姓支，祖上系西域胡，月氏人，后来其祖上迁入中原。到他祖父这一辈时，他祖父早逝，其祖母改嫁，改嫁进了霸城王氏，他的父亲遂改姓为王，他也就跟着姓了王。
要说起来，王世充的家族虽是西域胡，但汉化已久，王世充年轻时候，还曾跟过大儒徐文远学习，与李密、杨玄感等算是前后期的同学，无论衣着、饮食，抑或言谈、举止，他实早是与汉人无异，最多了，相貌上与汉人不同而已，可却大约正是因为相貌上的不同，使他或生自另类之感，连带其祖母系是改嫁进的霸城王家，因就导致了此人颇能察言观色，狡猾残忍。
霸城王氏，据说是战国时期魏公子无忌的后人，本居泰山，后被汉武帝迁到霸城，因地属京兆，又称京兆王氏。从西汉至今，已在霸城繁衍七八百年，亦关陇的名族之一。借助霸城王氏的族声，王世充本人也有才干，隋文帝杨坚时的开皇年间，王世充就以军功拜仪同，累转兵部员外郎。杨广继位后，於大业初，王世充被杨广任为了江都丞，兼领江都宫监。
杨广在军事、政治地位要紧的重点所在，他常会去巡游的地方，分别建了一些行宫，以供他到时的住宿。比如北方重镇太原，即有晋阳宫；江都是江南重镇，建的行宫便是江都宫。——杨广