平息了山东的拳匪之乱，李经述毕竟还年轻，他对于如何当好山东一省之巡抚没有经验，便经常向李鸿章请教，李鸿章告诫他：“做一个长官，最要紧的是洞悉下情，整顿吏治，只有这样，才能够举措适当，如果受着下边的蒙蔽，那就成了一个瞎子，哪有不做错事的？”
于是，李经述开始下令在山东全省整顿吏治，他饬令各道府州县将所得陋规一律交公，酌给公费，以杜绝受贿，防止官吏贪污；设立官吏考验处，考核甄别初到和新选新补官员；设立调查处，关注报纸舆论，了解官员政绩；设立法政学堂和胥吏学堂，以开“官智”，培养新政人才。
同时，李经述开始振兴实业，在山东设立山东工艺总局，作为振兴山东实业的政府机关，劝导奖励全省绅民兴办各种实业，还创办了工艺学堂等，培养技术人才，在济南设立了农务局和农事试作场，从美国购置农业机械，并聘请外人指导种植，又附设农业学堂，教授桑蚕种植和糖酒制造。
然后，李经述便上奏光绪皇帝，在山东开办山东大学堂，并组织李缇摩太等人起草了《山东试办大学堂暂行章程》。李经述在奏折中写道：“国势之强弱，视乎人才，人才之盛衰，原于学校。诚以人才者，立国之本，而学校者，又人才所从出之途也。以今日世变之殷，时艰之亟，将于得人以佐治，必须兴学以培材。”
李经述奏请先在山东省城设立大学堂，分斋督课，其中专斋相当于大学，正斋相当于中学，备斋相当于小学。因为有李鸿章的大力支持，李经述上奏十二天之后，光绪皇帝朱批：“朕知道了。政务处及各该衙门知道。单并发。”
李经述在山东巡抚的位子上不到一年的时间里，山东大学堂由他一手创办起来，李经述上奏给光绪皇帝的奏折中，一并提交了一份内容详尽的《山东试办大学堂暂行章程》，分为学堂办法、学堂条规、学堂课程和学堂经费四章，共计96节，一万四千多字，为后来山东大学堂的创办规划了蓝图。
为了创办山东大学堂，那些天的晚上李经述的书房灯火通明，李缇摩太、梁启超等人围坐在一起，热烈地讨论。这样忙碌的场面已经持续很久了。
不久，李缇摩太还给李经述推荐了一个叫赫士的美国传教士。赫士1882年来到中国，一直在山东传教，1883年起任教于山东登州文会馆。登州文会馆是十九世纪中后期基督教来华传教士在中国创办的学校，位于山东登州，也就是今天的烟台蓬莱市。登州文会馆采用的是现代的从小学到大学的教育体制。
李缇摩太与赫士私交甚密，深知登州文会馆的教育体制在当时十分先进，当光绪皇帝关于书院改学堂的谕旨发布之后，李缇摩太便恳请赫士帮他创办山东大学堂。不久，赫士率领文会馆七名教习来到济南，沿用登州文会馆办学的方法、条规，采用文会馆的课本、教材及教学仪器设备，参照文会馆办学的各项经费开支编制预算，为李经述起草了《山东试办大学堂暂行章程》。
李经述对赫士等人没有偏见，反而大力支持。1892年秋，济南泺源书院门口挂出了校牌：山东大学堂，成为参照现代教育体制建成的又一座新式学堂。根据章程，学堂招收了第一批新生300多名，分专斋、正斋、备斋。备斋相当于各州县小学堂，学习浅近知识；正斋，相当于中学堂，学习基础学科；专斋，相当于大学堂，学习专门学科。
李经述找济南乡绅和商户筹款，设立了奖学金和助学金，按照专斋每月四两、正斋每月二两、备斋每月一两发放。初创的山东大学堂，李经述任命李缇摩太为总办，相当于校长，总理学堂一切事务；任命赫士为总教习，总理择聘教习人员和核定课程，相当于教务长；任命梁启超为监督员，负责督饬学生。
山东大学堂的创办，在当时的中国引起轰动。当时，全国各地多是书院。中国的书院，是唐宋至明清出现的一种独立的教育机构，是私人或官府所设的聚徒讲授、研究学问的场