李经述陪李鸿章从美利坚访问回国后，就到天津全身心忙于操练十万新军，这支军队一年就要耗费第一联邦共和国海关半年的收入，除了购置了克虏伯重炮、马克沁重机枪等当时最先进的武器，研发新型武器和潜艇也成了当时中国加强国防的重要手段。
为了将这支军队训练成铁军，李经述、王士珍、段祺瑞、冯国璋等陆军将领在天津小站设置练兵处，和士兵们同甘共苦，吃住都在军营。这段时期，李经述精选将弁，严定饷额、赏罚至公，号令严明，一举足则万足齐发，一举枪则万枪同声，行若奔涛，立如植木，新军面貌日新。
李经述给新军统一换了橄榄绿的军装，军装上用杠、星来区分军衔。他自己任陆军大元帅，还兼着北洋军官学校的校长，通常他还是喜欢军官和士兵们叫他“校长”。李经述参照德国现代军法，制定了北洋练兵营制饷章，他将军队分为常备军、续备军和后备军三等，常备军实行新编制，下辖十二镇，分步队四镇，炮兵、骑兵、工程、辎重各两镇，每镇分两协，每协分两标，每标分三营。每营分四队，每队分三排，每排计兵三棚，每棚三十名士兵，全军约二百营左右。
刚开始，李鸿章筹建第一联邦共和国，他听从容闳的建议，选择联邦共和制，制定宪法。一是形势所迫，因为各地督抚从太平天国之乱后，就各自为政，无法在短时间内武力统一，二是李鸿章急于得到列强的承认，日本是君主立宪，中国就联邦共和，比日本人更接近西方的制度，但李鸿章没想到，有了国会和宪法，并不等于有了民主和宪政，任何与乡绅和官僚利益相抵触的法案，在国会和各省级议会都通不过，多数议员还是旧社会的乡绅和大地主。比如，容闳曾提出要平均地权，给农民平分土地。国会一位乡绅议员脱了鞋子站在桌子上破口大骂，说“凭什么分土地。人家地主三代之前也是贫农，人家辛苦几辈子积攒下来的家业，你说分就分，社会不是乱套了吗？”
让李鸿章更为头疼的是，言论自由给中国带来了的思想混论，各地报纸如雨后春笋，北京和上海两地就有五百多家报纸出现。这些被压抑了几千年的书生，看不惯的就骂，凡是政府做的事，他们就反对，有时李鸿章推动的事，报纸照样骂得他狗血淋头，北京联邦政府什么事都干不成。比如，北京联邦政府成立之后，各省的税收收不上来，李经述在天津练兵烧钱，李鸿章指示盛宣怀将他先前创办的河北磁州煤铁矿、江西兴国煤矿、湖北广济煤矿三家国有煤矿场合并成兴广煤矿公司，招商引资，与英国财团合作，改成中英合办，英方支付1500万两白银，这件事被捅出去后，各地报纸纷纷斥责李鸿章总统偷卖国有煤矿，最后迫于舆论压力，国会否决了这项合作。
更让李鸿章难以接受的是，结社自由让各地会党迅速滋生，以广东最为兴盛，他就任两广总督时，在广东剿匪砍头近万人，好不容易压制下去的会党，如星星之火燎原了。每天几乎都会新党产生，以天地会、青帮、哥老会的势力最大，他们联合成立了中国最大的在野党：“复明党”，这复明党成员还包括很多前义和团的成员，复明党的党魁叫朱帝象，自称朱元璋的后裔，此人是安徽合肥人，出生于1860年，也是留美回来的洋学生，原来在餐厅刷盘子当服务生，1893年碰到美国经济危机，找不到工作，就回国谋生，他托了老乡的关系，去找李鸿章，拿着铁路工程图，一开口就说要为中国修二十万里铁路，李鸿章把交通总长詹天佑叫来，詹天佑一看朱帝象画的铁路图，弯弯曲曲就像蚯蚓，当时就想自戳双目，碍于不知道他和李鸿章是什么关系，说：“卑职不才，但窃以为铁路应该以直为佳”。
李鸿章见朱帝象不学无术，叫人把他赶了出去，朱帝象怀恨在心，到广东成立了复明党，提出了“光复明朝、均分土地、自由民主，平等博爱”的政治口号，这对中国的失地农民很有吸引力，于是复明党迅速壮大，在全国