由于南渡百姓及部分南渡士族强烈要求光复失地，重返家园，因此，为了笼络人心，司马睿也不得不表面上同意祖逖北伐。司马睿于是任命他为奋威将军、豫州刺史，却不愿意给予实质的支持，只给几千军队，千人口粮和三千匹布，剩下的东西让他自行解决。祖逖还是率兵渡江北上，在长江上击楫起誓：“不能清中原而复济者，有如大江。”表达出自己北伐的壮志。渡江后，祖逖进屯淮阴，招募军士，锻铸兵甲，并屯田积谷，随后进军太丘、雍丘一带，并积极联合一些坞壁的地主武装，共同对付石勒。不到几年的时间，祖逖就收复了黄河以南的大部分土地，并在收复之地劝课农桑，允许边境人民开展互市贸易，使收复之地呈现出一片兴旺繁荣的景象。但是祖逖始终没有得到东晋政权的支持，北伐终以失败而告终。这除了史家常说的权力争斗等因素外，从用人角度讲，祖逖的抱负虽然宏大，但是与司马睿的战略规划确实存在冲突。他不能为司马睿所用是有原因的。