等杨广继位后，西域诸国纷纷前往张掖，同中原往来通商，裴世矩奉命监管互市。
他知道杨广有吞并西域的打算，便查访西域的风俗、山川等情况，撰写《西域图记》三篇，回朝奏明朝廷。
杨广大喜，每日都向他询问西域情况。裴世矩盛赞西域珍宝，又提议吞并吐谷浑。
所以杨广遂命裴世矩经略西域，又拜他为民部尚书。
不久，裴世矩升任黄门侍郎、参预朝政，并前往张掖，引导西域蕃邦入京朝贡。
杨广祭祀恒山时，西域有十几个国家遣使助祭。
大业四年，裴世矩游说铁勒，让他们出兵攻打吐谷浑。
吐谷浑大败，可汗伏允向隋朝遣使请降，并求取救兵。
杨广命杨雄、宇文述率军迎接。伏允畏惧隋军，不敢投降，率部西迁。
宇文述攻入吐谷浑境内，夺取曼头、赤水二城，掠夺大量人口。
吐谷浑大举南迁，其原有领土东西四千里、南北二千里皆被隋朝占领。
大业五年，隋炀帝打算西巡河右。裴世矩遣使游说高昌王麹伯雅与伊吾吐屯设等人，许以厚利，让他们派使者入朝。
三月，杨广西巡，到达燕支山，高昌王、伊吾设等人与西域二十七国国主亲自相迎，并佩金玉，披锦缎，焚香奏乐，歌舞喧哗，还让武威、张掖等郡百姓穿着盛装跟随观看，车马堵塞，绵延十余里，以显示中原的强盛。
杨广非常高兴，进封裴世矩为银青光禄大夫。
大业六，隋炀帝到达东都洛阳。裴世矩以“蛮夷朝贡者多”为由，建议隋炀帝召集四方艺人，在洛阳端门街陈列百戏，让官员百姓盛装华服，任意观看。
三市店肆还设置帷帐，大摆酒席，对蕃民盛情款待。
蕃民嗟叹不已，都称中原是神仙之地。
谁都知道杨广最是好大喜功，裴世矩这一把直接烧到了杨广的痒处，因此得到杨广的赞赏，并让他协助薛世雄修筑伊吾城。
再后来，裴世矩又进献反间计，使射匮可汗进攻处罗可汗，处罗可汗只得随使者入朝。
就连去年开始进行的隋朝对高句丽的战争，其实这后面也少不了这老狐狸的影子。
大业七年，裴世矩随隋炀帝巡幸塞北，到达启民可汗属地。
当时，高句丽已先遣使与突厥沟通。
启民可汗不敢隐瞒，便带高丽使者前来拜见杨广。
裴世矩趁机进言：“辽东早在周朝便是中国领土，先帝便有意讨伐，陛下又怎能让之仍为蛮夷之地。臣愿当面告诫高句丽使者，让他们告诉其国王，命其速来朝廷进见，不然便联合突厥出兵征讨。”
杨广采纳了裴世矩的建议，但高句丽国王高元却不肯入朝，因此杨广认为高句丽不敬，才有了征讨高句丽的想法。
薛仁杲就那一点经历，在裴世矩老狐狸的心目中，实在算不得什么大事。
人家那样的才叫了不得的经历，实在是剩了薛仁杲十倍，不过还是那句话，薛仁杲还足够年轻，以后的前途就未必比裴世矩低了。
但是薛世矩却十分会做恶人，也装出一副饶有兴致的样子，听着薛仁杲说一些战场上发生的事情。
加上薛仁杲的口才也确实十分了得，前一辈子这时又是个历史网文作者，十分善于抓住读者的心。
所以薛仁杲聊起这些趣事，也算得上是跌宕起伏，让人听了也感觉到气势汹涌。
这闲扯了半天，裴宣机就光顾着听着薛仁杲说这些战事了。
裴世矩看到自己的儿子，竟然被这些事情迷住了心窍，连正事都给忘了，也是暗地里有些不太痛快。
他找了个奴仆，赶紧叫醒了还沉迷其中的儿子。
幸亏这时候，有了父亲的提醒，这个裴宣机还是回过神来，派人去找了自己女儿来。
其实薛仁杲也已经看到了裴宣机动作，只是他觉得有些无奈。
这个说是相亲，但是相亲有点单方面了，很有可能待会人家女公子来了，也就是在门后面隔着屏风偷偷的杵个小洞瞅他一两眼。
他是没什么机会看到人家女公子长什么样子的，这样算起来，他倒算是吃了大亏了。
但是也无可奈何，何况娶妻这种东西，只要能对事业有帮助就行。
他一个一心要当皇帝的人，这正妻长得漂不漂亮，也没有多大关系，只要性格好一点，出身好一点，那就足够了。
他以后大不了选些漂亮的妾，这问题也都算不上太大。
正在这薛仁杲讲得慷慨激昂之处，列中有一个裴氏年轻子弟噌地一下站了起来，大声喊道：“薛将军，这高句丽的事情实在是跌宕起伏，弟听了心折得很。”
“只可惜，上次的时候，弟只能够待在国王内，不能够跟随你一同出征，如此的算来，倒是可惜了。”
薛仁杲听了这话，转过眼去看下这人，发现这个人长的威武雄壮。
如果换算成后世的单位，这厮长了一米九几，就是腰大膀圆的样子。
套用后世的一句话，那就是他这胳膊长得都比人家腿粗，薛仁杲一眼看过去，就知道这厮手上的力气绝对极大。
这厮双手那一锤子，仿佛就能把一个普通人送上天。
若是换到了水浒传之时，那什么三拳打死镇关西这样的事情，发生在这样的壮汉身上，认为绝对不会成为太大的问题。
薛仁杲一下子就喜欢上了这个年轻人。
他只看这年轻人如此豪气，举起来酒杯，站了起来，对着这些年轻人拱手一拜，说道：“不知贤弟如何称呼？”
只看见这五大三粗的年轻壮汉，大声喊道：“我名字叫做裴行俨。”
薛仁杲一听到这话，心里也是猛然一跳。
面前这个人，竟然是大名鼎鼎的猛将裴行俨。
这就十分了不得了。
这也就是后世的时候，那个隋唐英雄传小说里面所写的裴元庆的原型。
隋末十八条好汉之中，排行第三的猛将。
薛仁杲一看裴元庆的言行，这厮果然是威风凛凛，只是薛仁杲也不知道，这裴行俨用的是不是两把大银锤。
只看到薛仁杲有些忍不住了，问道：“不知道贤弟用的是何种兵器？日后要是有机会，我们两个可以相互切磋切磋。”