▲教导总队
中原大战时期，由于蒋介石手中兵力捉襟见肘，不得不将中央军校下属的两个教导团也全部调往前线，并不断招降纳叛将其扩充为军师级野战部队。因此，当1930年底中原大战尘埃落定时，中央军校已经没有教导部队可供新晋毕业生实习指挥和练兵了。
1930年12月5日，中央陆军军官学校（虽然迁至南京，习惯上仍称“黄埔军校”）决定成立一支全新的团级练习队，并定名为“教导总队”。8日，教导总队正式开始组建。当时，张治中负责担任中央军校教育长，因此教导总队初期部队就由其从老部队——教导第2师抽调编组，其中原教导第2 师特务营改编为教导总队步兵第1、第2连，另有骑兵连、炮兵连、工兵连皆编为总队直属部队。
▲年轻时的张治中
1931年3月，教导总队以招募的新兵编为步兵第3、第4、第5、第 6、第7、第8六个连，其中以第1至第4连编为步兵第1营，第5至第8连编为步兵第2营。至5月1日，教导总队正式编组完成，开始投入工作。但此时的教导总队毕竟刚刚组建，武器装备也都是训练用械，不能投入实战，仅供各路参观军校的军政官员观赏之用。
▲黄埔时期的桂永清
1933年5月，随着中德两国军事合作蜜月期的到来，教导总队终于迎来了脱胎换骨的时刻。首先，蒋介石派来心腹将领、毕业于黄埔一期的桂永清担任总队长，桂氏刚刚主持过庐山军官训练团，因此从训练团调来上百名优秀军官担任连排长，为教导总队补偿了新鲜血液。同时，桂永清利用自己曾留学德国的机会，争取德国军事顾问的支持，在教导总队下设军士营，并以此为基础增加了1个团的编制。
▲头戴德式钢盔的教导总队
由于教导总队“嫡系中的嫡系”这一性质，在全国编练第一批德械师时，该部也被选中，源源不断的德式装备开始流入。1924年式毛瑟步枪、ZB26轻机枪、Ml932型毛瑟自动手枪，Pak35/36型37mm战防炮、81mm迫击炮及钢盔、刺刀、防毒面具等其他单兵装备陆续配发部队，军服也换成了统一的草绿色制服。
▲全套德式装备
在这些装备支持下，教导总队开始不断扩编和完善部队建制。直属队方面：原有的骑兵连扩编为骑兵队（营级）,炮兵连扩编为炮兵营，通信排、特务排皆扩编为连,同时又增编特种兵连、辎重兵营。下属步兵团方面：增设直属于团部的第13（高射炮）连、第14（战防炮）连、第15（榴弹炮）连、第16（通信）连。同时，增设第4、第8、第12连为重机关枪连。
▲开赴抗日前线的教导总队
此外，教导总队的待遇超过其他嫡系中央军部队，甚至抗战时期领国难饷也比其他部队少扣两成（一般部队扣发3成军饷，教导总队仅扣发1成），因此部队招兵始终不成问题，所属各步兵连队全部齐装满员，每连辖3个排，每排3个班，每班16人，配轻机枪1挺，各连满编175人，各团满编2800余人，全总队约9000余人。