就这样，在谢尚的鼎力支持下，姚襄率领疲惫不堪的部众离开元城，迁往谯城，经过秦军不间断的围攻与追击，此时的姚襄部众仅剩不足两万户，军队不足五千人，羌族部落自姚弋仲起兵以来，还从来没有如此虚弱过。
姚襄迁到谯城后，东晋朝廷封姚襄为持节、平北将军、并州刺史、即丘县公，对于东晋的情谊，姚襄自然感激不尽，这几年在与苻健的关中争夺战中姚襄所部受损十分严重，所以来到谯城之后，姚襄决定休养生息，以积蓄力量；
于是，姚襄便率众在淮河两岸兴修水利、大兴屯田、劝科农桑，闲暇之余又训练将士，同时又广泛吸收流亡各地的羌族民众，不到一年功夫，在姚襄的治理下，谯城竟然欣欣向荣起来。
不仅如此，因为姚襄是胡人当中少有的饱学之士，归晋后在谢尚的带领下又研习玄学，参与清淡，很快便得到了江东人士的敬重。
而桓温因为要组建骑兵之事，也经常亲自前往谯城拜访姚襄，姚襄对于桓温十分的尊敬，对于襄国之事也感到万分的后悔，桓温在襄国之时以陆远之名为姚襄属下，姚襄虽然感觉此人绝非等闲之辈，但是却没有去更多的接触，在桓温被石祗问斩之时也没有出手相救，现在知道了当年的陆远就是现在的桓温的时候，后悔的直撞墙，常常对众人言后悔没有救桓温，但是好在桓温不计前嫌，依然向姚襄请求组建骑兵之策，而姚襄也是直言不讳，尽心相教，甚至直接派出手下大将权翼前往江陵帮助桓温训练骑兵，桓温骑兵在姚襄的帮助下也是成长迅速，很快就具备的很强的战斗力。
眼看着姚襄在谯城日子越过越红火、名声越来越大、部众越来越多、军队越来越强，一直对姚襄放心不下的殷浩再也坐不住了，在他看来，姚襄是胡族，其心必异，而且现在名声又如此的大，早晚会是东晋的心腹大患，于是便开始思索除掉姚襄之计。
但是怎么样才能除掉姚襄呢？总不能直接开打吧？双方都同朝为官，说白了就是同事，同室操戈自然是不好，冥思苦想之际，殷浩想到了姚襄在京城做人质的五个弟弟。
这五个弟弟当中，除了四弟姚苌、五弟姚绪年龄稍大，都曾领兵打仗以外，七弟姚尹买、八弟姚硕德、九弟姚绍都尚不足十岁，尚不懂得人情事故，于是殷浩便给予这三个弟弟以恩惠，让这三人对自己信任，然后又以放三人回谯城探望兄长为由，暗中安插杀手于队伍当中，寻机刺杀姚襄。
听闻弟弟们的到来，姚襄十分的高兴，本来派五个弟弟前往京城为质自己心中就有愧，所以对于弟弟们的到来自然十分的欣喜，亲自驾车出城迎接，但是当看到五个弟弟仅仅来了三个，而且还是三个未成年的弟弟的时候，姚襄就感到十分的奇怪，再加上殷浩派遣了整队的人马护送三人到来，几个人质据然能够得到如此的重视，姚襄更加感到疑虑，但是弟弟们的到来还是让姚襄十分的高兴，把他们迎接到了住处大吃大喝了好几天。
而殷浩所派的刺客就隐藏在护送的队伍当中，为了掩人耳目，殷浩故意派了一个整队的人护送三人回去，而刺客也一下子派出了五人，殷浩的想法很简单，就是一次性解决掉姚襄，然后吞掉他的部众。
但是因为姚襄戒备森严，除了三个弟弟之外，其他人一律不准进入姚襄的住处，不仅如此，姚襄因为怀疑护送队目的不纯，还加派人手日夜看管护送队，因此刺客们一时之间无法接近姚襄，自然也就谈不上刺杀了。
为了接近姚襄，刺客主动找到了姚襄的七弟姚尹买，此时的七弟姚尹买早已被殷浩收买，因此在七弟姚尹买的安排之下，刺客五人以挥剑助兴为由，得以进入酒席之间，借助舞剑之事，借机刺杀姚襄。
而姚襄早已看穿了此事，也明白了七弟姚尹买已然被收买，因此在席间故意装醉，引诱刺客行凶，刺客们舞了一段时间之后，见姚襄已经喝的酩酊大醉，便互相使了个眼色，趁着姚襄不省人事之际，突然从腰间拔出短剑，然后一拥而入，准备刺杀姚襄。
却不料就在接近姚襄之际，姚襄身后突然杀出一队人马，这队人马迅速的制服了五个刺客，突如其来的变故也吓的七弟姚尹买哇哇大哭起来，还没等姚襄审问，就已经和盘托出了此事是殷浩所指使。
面对扒在地上痛哭的七弟姚尹买，姚襄无奈的把他扶起来，此时的他也早已猜到此事是殷浩所为，但是人在屋檐下，不能不低头，此时的殷浩还是姚襄名义上的顶头上司，殷浩自然不愿得罪殷浩，因为便摆了摆手，让人放了这五名刺客，依然让他们回到护卫队，继续好酒好菜的招待，就像什么事都没有发生一样。
姚襄的大度与从容让刺客们感动为已，回去之后向殷浩复命之时都向殷浩说姚襄的好话，这非但没有引起殷浩的反思，反而更让殷浩生气，也更加坚定了除掉姚襄的决心。
既然刺杀不行，那就直接指挥军队灭掉姚襄，但是动用军队得有合适的借口，于是殷浩便开始慢慢的寻找借机攻打姚襄的借口，恰在此时，姚襄的骑兵训练用的马匹不足，便向附近的马场求马，但是因为马场都归军队所有，不能随便使用，因为没有答应姚襄；
姚襄以为又是殷浩故意为之，一气之下，派人夜里悄悄的到马场盗马，不成想动静太大，惊动了马场的人，被抓了个正着。
本来此事是一件很小的事情，道个歉就完事了，不成想殷浩却以此为借口，派遣降晋的原冉魏政权的卫将军魏憬率五千人攻击姚襄，奈何魏憬实在技不如人，在与姚襄对阵之时，被姚襄一枪挑于马下战死，其部众也被姚襄所吞并，本来姚襄就缺人，这下正好，姚襄的部队反而扩大了许多。
一次次的失败让殷浩恼羞成怒，他便又派遣实力更强的原冉魏政权的兖州刺史刘启率军一万攻打姚襄，眼看事情闹的不可开交，已与姚襄结拜为兄弟的谢尚即时出面调节，殷浩不得不就此作罢，但是咽不下这口气的殷浩还是搞了个小动作，就是把姚襄从已发展成熟的谯城迁到梁国，而让刘启戍守谯城，为了掩人耳目，还假惺惺的封姚襄为梁国内史。
姚襄无奈，碰上这么个主也是倒了八辈子霉，在殷浩的一再催促下，姚襄只得再次率领部众，从刚刚驻守了一年多的谯城迁往梁国。