3月14日，李鸿章率参议李经方，参赞马建忠、伍廷芳、罗丰禄、美国顾问科士达等随员一百多人，前往日本马关议和。20日，李鸿章与日本首相伊藤博文、外相陆奥宗光在马关春帆楼开始谈判，双方交换全权证书，李鸿章劝日本不要“寻仇不已”，要求先议停战协定。第二天，双方举行第二次谈判，商议停战之事。伊藤提出停战条件：日军占领大沽、天津、山海关，解除上述各地清军武装，日军管理天津至山海关铁路，清政府负担停战期内日本军费。在这种情况下，李鸿章被迫要求先不谈停战，只议议和条款。对此伊藤限定李鸿章于3日内答复停战要求。24日，李鸿章正式备文拒绝日本提出的停战条件，要求先谈议和条款。伊藤允许第二天提出议和条件。当李鸿章在返回寓所的途中，被一早已隐伏的日本浪人小山丰太郎用枪击中左颧、血流不止，顿时晕倒。小山是日本自由党方面的打手，他们认为议和时机未到，不占领北京是日本的耻辱，所以有意来破坏议和，以此扩大对华战争。李鸿章被刺后，伊藤、陆奥感到人心已变，不能再战，如果此时谈判破裂，对日极为不利，同时，也担心因此招致列强干涉。于是在28日，陆奥与李鸿章在病榻前议定无条件停战。30日，中日签订为期21天的停战条约，但范围不包括澎湖和台湾。但是，两天后日本首次公布议和条件，提出和约底稿，条件苛刻，并限4日内答复。李鸿章为此进行了多次争辨，先后两次向日本送说帖，逐条请求减让。4月9日，李鸿章提出体面修正案，允割辽南、安东、宽甸、凤凰、岫岩四地与澎湖列岛，赔款一亿两，新订商约“以中国与泰西各国现行约章为本”。次日，李鸿章与伊藤举行第四次谈判，日本提出修改稿，将辽东割地由北纬41°以南缩至营口、海城、凤凰城、安平河以南，将赔款由3万万两减为2万万两，商埠由七处减为四处，声称此为尽头条款，中国只有答应或不答应而已，不能减少。同时又威吓：如果谈判破裂，中国全权大臣一旦离去此地，是否再能安然出入北京城门，亦不以保证。李鸿章急忙请旨应付。清廷闻讯后，答应割台湾一半，但是，一定要争回牛庄、营口。日方得到李鸿章的答复后，继续进行恫吓，并运兵至大连湾加以威胁。4月10日，清政府致电李鸿章：倘无可再商，即与订约。李鸿章连续发回三封电文，催促清政府照日方改款定约。14日，清廷批准李鸿章“遵前旨与之下约”。第二天，中日双方举行最后一次谈判，李鸿章与伊藤博文议定《中日马关新约》（即中日《马关条约》），共十一款，附有《另约》《议订专条》。