为了使中国黄页继续活下去，马云决定傍一个靠山，来增强自己抗击风险的能力，最后选定同杭州电信合作。1996年3月，中国黄页将资产折合成60万圆人民币，占30%的股份；杭州电信投入资金140万圆人民币，占70%的股份。
应该说马云当时有极好的机遇。第一，中国黄页毕竟是中国第一家互联网企业，占有绝对的先机；第二，中国互联网产业起步虽晚但市场巨大；第三，中国黄页一启动就找到了一种成功的盈利模式。
但后来发生的许多事情让马云始料未及。马云的战略目标是打造中国的雅虎，为此制定了一系列品牌培育策略，但杭州电信却有一套急功近利的经营策略。对此马云曾说：“做‘.COM’公司如同养孩子，你不可能让三岁小孩去挣钱吧！” 双方的裂痕愈来愈深，几个月后，合作终于走到了破裂的边缘。
1997年，马云不得不离开重组后的“中国黄页”，这是他一生中的第一次“滑铁卢”。
在离开中国黄页之后，马云带了5个年轻人，去了当时的外经贸部，在其所属的中国国际电子商务中心（EDI）出任信息部总经理，马云占30%的股份、外经贸部占70%的股份，但实际上马云一个月就几千圆的工资，其他什么也没有。马云还是很满足，他租了一间不到20平方米的小房间，没日没夜地干活，给外经贸部做站点，让外经贸部成为了中国第一个上网的部级单位。后来成功建设了国富通、中国商品交易市场等网站。
日子一久，马云发现在政府的编制里做事要受到许多限制，存在着种种说不清道不明的问题。怎么办？马云陷入了进退两难的境地。留在北京吗？机会倒是有，新浪和雅虎都希望马云去加盟，但马云发现在北京做事人心太浮躁，很难做成一件事。思来想去，马云决定还是回杭州发展。