从出任山西巡抚开始，张之洞具体负责地方军政要务，于军事制度的革故鼎新方面，认识逐渐深化。抚晋之初，张之洞即发现传统军制弊端丛生，非兴革不敷时用。他在《筹改营制折》中论道：
绿营积弊无可挽回，勇营、饷营、章营制均胜绿兵，而其病在随将领为去留，不与地方相维系，且不习风土，亦往往有迂地弗良之时。……拟将通省绿兵减额加饷，一律改为练军，大率参制兵勇营之制而用之，取勇营之简易，参以制兵之持久，化饥为饱，化繁为简，化散为整，化板为活。
他将晋省裁改兵制应议事宜分列十二条，即改定营名、修建营房、分防移调、练习火器，出省加饷、统领公费、长夫限制、支食廉俸、分设汛弁、变通借补、改铸印信、暂留守兵。根据这一基本构想，张之洞锐意筹编山西练军，“并不独为山西一省计也。果使此军练成劲旅，不惟可以挑补晋省练军，沿边万余里，随处皆可用之。”
练军是从绿营、勇营向新式军队过渡的军制形式。由此起步，张之洞开始了他军制改革的思想与实践。经过中法战争，特别是中日战争的检验，张之洞更感到旧军改革之必要、新军编练之急迫。光绪二十一年（1895 年），他在一份奏折中总结旧军制积弊有七：
人皆乌合，来去无恒，一弊也。兵皆缺额，且充杂差，二弊也。里居不确，良莠不分，三弊也。摊派刻扣，四弊也。新式枪炮，抛弃损坏，五弊也。营垒工程，不知讲求，六弊也。营弁习尚奢华，七弊也。
张之洞提出，惟有仿行东西洋各国，裁撤旧营（包括绿营制兵，练兵防勇）.推广新式军制，才能从根本上改变军队涣散、国防空虚的被动挨打局面。他驳斥守旧势力阻挠改革的论调：“试思环球各强国其练兵皆同此一法，而谓中华兵力最弱之国反能别创一器一法以取胜，此事理之所必无者也。”这里强调了军事现代化的共同规律，批评那种以“特别国情”拒绝现代化的谬说。在《劝学篇》中，张之洞进一步论证这种共同规律“盖兵学之精，至今曰西国而极。……方今兵制教法，东洋西洋，大略皆同，盖由推求精善，故各国有则效而无改易之者。”
旧式军队的淘汰，难度很大，不可能一蹴而就。张之洞建议清廷分年裁撤，不分马、步、战、守，每年裁二十分之一，二十年裁完。他率先于湖北推行裁汰旧军之举。于光绪二十三年（1897 年），奏请将马战守兵七千七百一十五名，分为五年递裁，以“裁散不裁整，裁兵不裁官，为人手之方法”，稳妥地解决裁旧难题。
光绪二十一年（1895 年）七月，张之洞根据甲午战争的惨痛教训，上《吁请修备储才折》，提出九条应急措施，并将“宜亟练陆军”，“宜亟练海军”列为第一、二条。这一年十一月，他在暂署两江任内，编练新式陆军“自强军”.计有步队八营、炮队二营、马队二营、工程队一营，共十三营。其建制为步兵每营 250 人，分五哨；炮兵每营 200 人，分四哨；马队每营 180 人，分三哨；工程营 100 人。各营还配备有医官。枪匠、兽医等后勤保障人员。这支部队，是中国最早的近代化武装力量的一支。虽然人数不多，但在中国军制史上却具有划时代的意义。
次年初，张之洞从两江返任湖广，以更大规模编练新军。经过十年经营，编成陆军第八镇和暂编第二十一混成协，共称“湖北新军”。据光绪三十三年（1907）统计，第八镇有官七百员，镇统张彪，兵一万五百名；第二十一混成协有官二百八十员，协统黎元洪，兵四千六百名。“湖北新军”是当时仅次于北洋六镇的第二支强大新式陆军。
张之洞编练新军的指导思想是：“额必足，人必壮，饷必 裕，军火必多，技艺必娴熟，勇丁必不当杂差，将领必不能滥充。”他把这七条称为“军之体也”。“凡事其体先立，然后其用可得而立”。张之洞认为，“必须扫除故套，参用西法，参用各国洋弁教习，讲求枪炮理法，兼司营垒测绘，始可谓之为兵”。只有在建军制度、条令规则、训练方法、战术原则、军械装备等方面全行仿效东西洋各国，方能从根本上革除旧军队疲沓昏陋之锢疾，建立起精壮强练的近代武装。
在具体仿效对象上，张之洞认为，德国陆军之强冠于全球，因此当以德人练兵之法为楷模，自强军便是基本依照德国章程编制而成。光绪二十八年（1902年）以后，张之洞又以日本军制为新军编制的主要参照。新军采用镇（相当于师）、协（相当于旅），标（相当于团）、营、队（相当于连），排、棚（相当于班）的梯级编成序列。镇为综合军事建制，包括步、马、炮、工、辎五大兵种，更利于诸兵种协同作战，以适当近代战争的需要。在编练方法上，张之洞认为，选募洋弁洋将，直接训练指挥中国士兵，十分有利于中国将领从中观摩学习，尽快掌握近代军事训练、作战法则，易收事半功倍、立见成效之功。
编练自强军时，张之洞聘请三十五名德国军官。他们不仅担任训练科目的教官，而且还被授于指挥营、哨两级的实职，中国军官仅任副职，“选武职中壮健有志，不染习气者为副营官，选天津广东两地武备学堂出身之学生为副哨官。其带兵操练之权，悉以委之洋将弃，而约束惩责之权，则专归华官。”张之洞离两江返回湖广本任时，又调部份洋弁到武昌，担任湖北新军的训练工作，不过此时他对选募洋弁的看法有所改变：“中华练兵诚为第一要事，惟各国皆思干涉我兵权，亦是大患。大率用洋人为教习可，用洋人大员为将领则万万不可。”他改变授洋弃以指挥实权的做法，仅以之作顾问和教习，并且立定合同，加以约束。其合同内容主要为：洋弁之军衔不超过守备；洋弁为张之洞属员，听其节制；洋弁仅任教习；训练诸事均应与营务处道员商办。光绪二十八年（1902 年）以后，张之洞为湖北新军聘募了不少日本教习，其使用原则.亦如上述。
在取得相当的实践经验的基础上，光绪二十七年（1901年）.张之洞归纳出“东西各国教将练兵要旨”十二条，奏请朝廷颁饬各疆臣“切实研究”，广加推行。其内容为：
一、教士以礼，使之有耻自重；
二、调护士卒起处饮食；
三、讲明枪炮弹药质性源流之法；
四、枪炮线路取准之法；
五、掘壕筑垒避枪炮之法；
六、马步炮各队择地借势之法；
七、测量绘图之法：
八、队伍分合转变之法；
九、守卫侦探之法；
十、行军工程制造之法；
十一、筹备行军衣粮辎重之法；
十二、行军医药之法。
由此可见，张之洞对于近代新型军队的管理操练细则。已有一个比较完备的认识，这在中国近代化武装力量的草创阶段，尤显其理论意义和实践功效。 张之洞强调军队必须有严明的纪律。光绪三十三年（1907 年），湖北新军一部调驻安庆。张之洞专电该部“务须严整肃静，均住帐棚，不可人民家。饮食柴草一切自备，街市买物务须和平，不准稍有强买争闹等事，违者必应严办。总之，万不准扰皖省一草一木，以全名誉。”湖北新军军纪严明，为各省所称道，与张之洞的严格要求有直接关系。 于部队编训之外，张之洞对于国家军事管理、指挥系统的建设，也提出新的构想：“请仿英、法之总营务处，日本之参谋本部，于都城专设衙门，掌全国水陆兵制、饷章、地理绘图、操练法式、储备粮饷、转运舟车、外交侦探等事。平日之预筹，临时之调度，悉以此宫掌之。兼采众长，务求实用。”这些建议对于清政府军事方面的“新政”建设，起到了积极的推动作用。