从京城回到天津后，李鸿章就开始着手组建北洋水师的基本构架。他首先调潘鼎新入津，让他协助自己负责北洋水师的筹建和天津海防事宜。接着，李鸿章给已经升任江苏巡抚的丁日昌去信，让他亲自坐镇，督促江南制造局尽快建造出更大、更先进的战舰，以及各类枪炮武器等。而后，李鸿章亲自在淮军中挑选了一批青年才俊，让丁汝昌带领前往欧洲学习海军、海防知识，并令丁汝昌趁机在欧洲各国，打探看有无国家肯出售铁甲舰给大清。李鸿章对丁汝昌的期望极大，等同于把自己毕生想筹备新式水师的夙愿，交由丁汝昌去帮他完成。
在朝廷得知了沙俄野心，确定入侵新疆和东北的确切消息后，以慈禧太后为首的顶层统治者们，心生危机紧迫之感，于是便彻底放权给李鸿章，好方便他尽快在京津一带，组建起能够拱卫京师的强悍军队。得益于此，李鸿章很快就把直隶府辖地内的主要官员都换成了他的亲信，这更加有利于他放手去完成自己的一些策略。在北洋水师的筹建上，由于暂时没有那么多铁甲舰可以使用，李鸿章只能先行使用木帆船进行练兵，在辽东半岛、环渤海沿线、胶州半岛之重要位置，建立了数做沿海军镇。在此大力建设以海岸炮台和海上舰队互为表里的立体防御海口要塞。
在每一沿海军镇，先各练精兵两千人，一半人在岸，一半人在海，每半年一轮换，形成“陆上有虎”、“海中有龙”，水陆相联之势。经过短短几个月的发展，李鸿章大力筹建的北洋水师，尽管还极度缺乏新式铁甲舰，但是其基本框架已初见雏形，这一成就也让李鸿章很是满意，对于将来的三洋水师建设更是信心满满。
同治十一年，春节刚过，李鸿章就接到了一个很不好的消息，曾国藩的病情日益加重，眼看就要大限将至。接到这个消息后，李鸿章刚刚安排好一切公事，想要尽快赶到江宁，去见自己恩师最后一面。可是还未成行，一件突发事件又打乱了他的计划。日本单方面宣布，大清的藩属国琉球群岛已被并入日本。面对日本这一**裸的挑衅，慈禧震怒，责令恭亲王全权处理此事，李鸿章负责协助办理。并告诉二人，不惜一切代价，务必不能让日本侵吞琉球群岛得逞。