韩遂、马腾逃回凉州，樊稠率军追击。韩遂派人对樊稠说：“天下之事反复无常难以预料，你我同乡，今天虽有些小摩擦，恐怕还会走到一起的，想和你谈一谈。”
二人于是并马拉着手臂，说笑了很久。四月，李傕下诏赦免马腾等，以马腾为安狄将军，韩遂为安羌将军。
结为异姓兄弟，甚为亲近。但后来，因部曲间的矛盾，马腾、韩遂二人成为仇敌，马腾攻韩遂，韩遂败走，又合兵还攻马腾，二人成为仇敌，韩遂杀掉了马腾的妻儿，二人连年交战。到后来曹操才派钟繇、韦端前去劝和。
建安四年（199年），曹操上表任命钟繇为侍中、代理司隶校尉，持节督关中诸军，将后方事务委托给他，特别授予他不受制度拘束的权力。
钟繇到达长安后，致信马腾、韩遂等人，为他们陈述利弊祸福，马腾、韩遂都送自己的一个儿子到朝廷为人质。
建安七年（202年），袁尚派高干、郭援率军数万，与南匈奴单于栾提呼厨泉进攻河东郡，并派使者与韩遂等关中诸将联合出兵，曹操派钟繇对抗，而钟繇派张既劝说马腾支持曹操。
马腾派马超率精兵一万多人，连同韩遂等的军队，与钟繇合击大破郭援等。献帝拜马腾为征南将军、韩遂为征西将军，允许他们开府辟召掾属。
建安十年（205年），曹操派张既征集马腾、韩遂等人击败了高干、张晟军，斩杀了反叛的卫固等人。
建安十四年（209年），韩遂派自己的女婿阎行前往拜谒[yè]曹操，曹操厚待阎行，上表朝廷授阎行为犍为太守。
阎行趁机请让他的父亲入朝任职，阎行西还见韩遂，把曹操劝韩遂入朝的话告诉他。并趁机劝韩遂归附曹操，劝他先派一个儿子入朝作为人质。韩遂说：“暂且再观望几年！”后来就派自己的儿子与阎行的父母一起入朝。
建安十五年（210年），韩遂亲自率军，讨伐之前杀雍州刺史邯郸商而反叛的武威太守张猛，留阎行守旧营，张猛派兵向东抵御。他手下的官吏百姓畏惧韩遂，于是反而一同攻张猛，张猛登楼自焚而死。
建安十六年（211年）三月，曹操派钟繇讨张鲁。让夏侯渊等率军出河东与钟繇合兵。而马超等九部意图反叛，推举韩遂为都督。
韩遂当时刚讨平张猛回师，马超便劝韩遂一同起兵。阎行劝谏韩遂，不想让他与马超联合。韩遂不听，于是向东至华阴。
韩遂等人的军队十万，进军至潼关。七月，曹操西征，与马超联军夹关对峙。曹操军驻扎在蒲阪，想要西行渡河，马超听说后对韩遂说：“可以在渭河北岸据守，不到二十天，河东粮尽，敌军自己便会走了。”
但是被韩遂拒绝。曹操被马超进攻，险些无法渡河，赖帐下校尉丁斐在河岸放出大量牛马，使马超军争相追赶牛马，马超控制不住，曹操因此得以成功渡河。
九月，曹操采取贾诩的计策，离间联军。当时，韩遂请求与曹操相见，曹操与韩遂本来是老朋友，于是，他们两人来到阵前，马头相交，在一起说了很长时间，没有说到军事，只是谈论京都的往事与老朋友们，高兴时拍手欢笑。
当时，马超等部队中的关中人与胡人都来围观，前后重重迭迭，曹操笑着对他们说：“你们是想来看曹操吗？我也是一个人，并没有四只眼两张嘴，只是智谋多一些罢了。”
会面结束后，马超等人问韩遂说：“曹操说了些什么？”韩遂说：“没有说什么。”马超等有了疑心。另一天，曹操又给韩遂写了一封信，信中圈改涂抹了许多地方，好象是韩遂所改的，马超等更加怀疑韩遂。
曹操于是与马超等约定日期，进行会战。曹操先派轻装部队进行挑战，与马超等大战多时，才派遣精锐骑兵进行夹击，大破马超等，斩杀成宜、李堪等。韩遂、马超逃奔凉州。
建安十七年（212年）五月，曹操将韩遂子孙在京师的人全部诛杀，于是将亲自写信给阎行，说明了阎行的父亲正被关押，并威胁阎行。
韩遂听说阎行的父亲还活着，想要让他一同遇害，以此来坚定阎行的意志，于是强行把自己的小女儿嫁给阎行，阎行不得已而娶韩遂女。曹操果然怀疑阎行。
建安十九年（214年）春，进入氐王千万部落中，占据显亲，夏侯渊想要袭取显亲，韩遂逃走。
夏侯渊缴获遂韩遂军粮，追击至略阳城，留下负责监查的部将守卫辎重，自己亲率精锐步骑突袭焚毁长离羌屯，斩首颇多。
听闻消息的韩遂军中羌兵纷纷回援各自的部落，韩遂不得已，果然率军来救，而与夏侯渊对阵。诸部将眼看韩遂军力庞大，非常头痛，准备扎营挖堑做持久战。夏侯渊击鼓奋击，大破韩遂军。
建安十九年（214年），让阎行别领西平郡。阎行纠集他的部曲欲杀韩遂投降，响应夏侯渊