马超统领部众后，就和韩遂联合，以及杨秋、李堪、成宜等人相互勾结，进军到潼关。曹操和韩遂、马超单人匹马会面交谈，马超依仗自己力气大，暗中想冲上前捉住曹操，曹操身边的将领许褚瞪着眼睛怒视他，马超才不敢动。曹操采用贾诩的计谋，离间马超、韩遂，使他们互相猜疑，军队因此大败。
《山阳公载记》说：当初，曹操的军队在蒲阪，想要向西渡过黄河，马超对韩遂说：“应该在渭水北岸抵抗他们，不超过二十天，河东的粮食就会耗尽，他们必定会逃跑。” 韩遂说：“可以听任他们渡河，在河中逼迫他们，不是很痛快吗！” 马超的计策没能施行。曹操听说后说：“马儿不死，我没有葬身之地啊。”
马超逃到各戎族部落据守，曹操追到安定，恰逢北方有战事，就率军向东返回。杨阜劝曹操说：“马超有韩信、英布那样的勇猛，很得羌、胡族人的心。如果大军返回，不严密防备他，陇上各郡就不再属于国家了。” 马超果然率领各戎族部落攻打陇上郡县，陇上郡县都响应他，杀死凉州刺史韦康，占据冀城，拥有了那里的部众。马超自称征西将军，兼任并州牧，督察凉州军事。韦康的旧官吏百姓杨阜、姜叙、梁宽、赵衢等人，合谋攻打马超。杨阜、姜叙在卤城起兵，马超出兵攻打他们，没能攻下；梁宽、赵衢关闭冀城城门，马超不能进城。进退两难，就逃到汉中依附张鲁。张鲁不值得和他商议大事，马超心中闷闷不乐，听说刘备在成都围攻刘璋，就秘密写信请求投降。