那是什么原因，致使卫军锐减、军纪败坏的问题出现呢？首先，我们都知道，“卫所制”最核心的就是“军户”，只有“军户”充足，“卫所制”才能发挥出它该有的作用。因此，一旦缺少“军户”，“卫所制”不可避免的就会衰落。那是什么原因让明代的卫军锐减的呢？其一、变味的“班军制度”，卫军充当班军，却是只进不出，由此造成卫军锐减。
所谓“班军”，“卫所之军，番上京师，总为三大营者也”，明代，各地卫所军队每年都需轮番赴京，编入京营操练，或保卫京师，或以备出征，此谓之“班军”。这项制度始于永乐二十二年（1424年）：“敕河南、山东、山西、大宁及中都将领，每年选一万四千(河南)到七万(大宁)共十六万人，春秋番上”，自此“班军”始成制度。
最初，明廷让各地卫所军队轮番上京，只是为了检阅各地的军队，然后对其进行操练，以此来增强卫军的战斗力。但是，随着时间的逝去，“班军制度”逐渐失去了曾经的目的，正如嘉靖时期兵部尚书李承勋所言：“永乐中调军番上京师，后遂踵为故事，卫伍半空，而在京者徒供营造”，本来每年调各地卫军轮番入京，这只是为了操练军队，但是随着时间的逝去，这些班军却逐渐被驱使于工役，或修筑城哨、或建造城堡，如此曾经轮换的班军，逐渐被长期禁锢在京师，不能返回原地。
而随着大量的卫所军被抽调入京做了班军，却长时间不得回原地，其原地卫所军不可避免的就会出现卫军锐减的问题。与此同时，正如弘治时期兵部尚书马文升曾言：“军卫军士内府各衙门匠役占主数万之上，见在者不过七八万，往年京师之兵，俱在三大营操练，近年多拨做工，每占役一二万之上，甚至二三年不完，顧工负累，卒多逃亡，见在者强弱相半，在京军士，疲困未有甚于此时者也”，被调往京师的班军因受不了这般繁重的工役，是出现了大量逃亡的情况。
如此，班军的大量逃亡，也间接的造成了卫军的锐减，因为班军一旦出现空缺，则朝廷势必就会继续从各地卫所军队中抽调卫军入京，而如上文所说，卫军一旦入京做了班军，因需服繁重的工役，短时间内是回不去原地。如此，班军的大量逃亡，势必就会造成卫军的锐减。其二、权贵私自占用，其不计后果的奴役，卫军为了活命，只得逃亡。
各地卫所的卫军之所以会锐减，有跟国家将其调往京师，驱使工役有关，也跟被权贵挪作私用有关。明代，将卫所挪作他用的主要有两类人，其一是皇亲国戚，其二就是军队将官。正如王毓铨在《明代的军屯》一书中所说：“役使军士当私差的，主要是镇守总兵等官，还有指挥千户、百户以及许多官豪势要。他们私下役使军士，耕种庄田，为他们樵采、治炭、开窑、烧造砖瓦、修筑私第、贩私盐等” ，当时因明朝多无战事，所以卫所军官多将卫军挪作私用，或樵采、治炭、开窑、烧造砖瓦，或烧造砖瓦、修筑私第、贩私盐，总之是让他们“不务正业”。
