杨素采纳了来护儿的建议，遂按兵不动，而命令来护儿率领数百艘小船，径直渡过浙江，登上南岸，击破了叛军后方营垒。来护儿等人占领叛军营垒后，立即纵火，顿时烟炎张天。叛军看到后方失火，军心大乱，杨素遂趁机率军向敌人发起了总攻，大破高智慧。高智慧率领残兵败将逃入深海，杨素跟踪追击，一直追到海曲。杨素召唤行军记室参军封德彝前来商议军务，仓卒之际，封德彝失足落入水中，被人救出，侥幸捡了一条小命，但他换了衣服拜见杨素，一句也不提自己落水的事情。后来，杨素知道了，就问他原因，他淡淡回答道：“这是私事，所以没有禀报。”杨素非常赞赏。封德彝，本名叫封伦，德彝是他的字，但以字行。他是北齐太子太保、高欢的佐命功臣封隆之的孙子。封德彝年少时，他的舅舅卢思道常常说：“这孩子胆识智慧超出常人，一定能当上宰相。”后来，到唐初，封德彝果然位至宰相。
隋军从余姚（今浙江省余姚市）一直追到永嘉（今浙江省永嘉市），高智慧整军再战，又被杨素击败，隋军生擒了数千人。高智慧再度南逃。东阳（今浙江省金华市）叛党汪文进自称天子，以其党蔡道人为司空，驻守乐安（今浙江省仙居县）。隋军回师进讨，将其全部消灭；又击破了永嘉叛党沈孝彻，于是，杨素率军从陆路向天台（今浙江省天台县）进发，直指临海郡（今浙江省临海市），追剿残余叛军，前后经过一百多次战斗，终于将高智慧等人逐出浙江，高智慧退守闽越（今福建省）。
与此同时，杨素命令总管史万岁率领两千隋军从东阳出发，翻山越岭，逐一清剿躲藏在山洞中的变民。这一路隋军前后经过了七百多次战斗，一边前进，一边作战，辗转了上千里，攻克无数变民据点，在长达一百多天的时间里，他们与大部队失去了联系，人们都认为他们已经全军覆没了。因水陆全部断绝，无法送出讯息，史万岁只好命人将书信放在竹筒之内，投入水中，希望能被人捡到，送给主帅杨素。有人在河边打水，就真的拾到了这个竹筒，交给了杨素。杨素大喜，将事情的来龙去脉直接上报给了隋文帝，隋文帝连连赞叹，赏赐史万岁家十万钱，等到史万岁回朝后，又拜其为左领军将军。
六、江南叛乱（2）
史书称：“上以素久劳于外，诏令驰传入朝。”
也就是说，在杨素剿灭江南叛军过程中，隋文帝突然下诏命令其火速赶回京师。虽然史书说得冠冕堂皇，是说隋文帝从关心杨素身体健康的角度才命其返回脱离军队，返回长安，但这一说法其实是站不住脚的。这是因为：假如隋文帝真的关心杨素个人的身体健康，就不会让其火速赶回，况且，此时的杨素并无任何疾病，以隋文帝猜忌的性格，加上隋朝朝中复杂的矛盾斗争，我们有理由相信是隋文帝听信了朝中的流言蜚语，担心杨素长期在江南会发动叛乱，才将其调离南征大军的。从当时的情况来看，杨素手握重兵，又在江南屡立战功，威名大振，一旦怀有二心，后果将不堪设想，这大约是隋文帝将其征召回京的主要原因。
杨素赶回长安后，隋文帝加封杨素的儿子杨玄感为上开府，赏赐三千段丝绸。杨素回到长安后，又上书称江南叛党尚未完全肃清，恐怕会产生后患，遂请求隋文帝允许自己再次南下，隋文帝答应了，杨素再次乘坐驿马车来到会稽。当初，南安（今福建省南安县）豪强王国庆杀掉刺史刘弘占据泉州（今福建省福州市）作乱，高智慧等人全都前来投靠。王国庆自认为海路难行，北方人不善舟楫，不可能很快到达，遂未做任何防备。谁知杨素却突然率领水军进抵泉州，错愕之间，王国庆不战而逃，下余部众或逃入海岛，或散入山洞。杨素命令隋军分头展开清剿，又派人劝说王国庆，令其斩杀高智慧以赎罪；王国庆遂逮捕了高智慧，杨素下令将高智慧斩杀，剩余叛党全部投降。江南大乱遂被平定。
杨素班师后，隋文帝派遣皇后独孤伽罗的异母弟、左领军将军独孤陀亲自来到浚仪（今河南省开封市）迎候，等到杨素回到长安，隋文帝每天都会派使者来到杨素家中慰问，又拜其另外一个儿子杨玄奖为仪同三司，赏赐杨素黄金四十斤，用金钱盛满银瓶，又赏赐缣三千段，马二百匹，羊二千口，田一百顷，宅一区。
杨素用兵足智多谋，军纪严厉。每次临敌作战之前，他总是故意挑出部下的毛病，先杀人，有时候多则连杀上百人，少则十几人，血流面前，但杨素依然谈笑风生，熟视无睹。等到与敌人对垒时，他又先命令一二百人率先冲入敌阵之中，假如能攻破敌阵还则罢了，一旦败退下来，不论人数多少，全部斩首示众，而后再令二三百人发起冲锋，与上次一样。因此，隋军将士们都吓得心惊胆战，全部被杨素锻炼成了敢死队员，反正是一到战场上，不是杀死敌人取胜，就是被自己的主帅杀死，所以都抱有一颗必死之心，而杨素统领下的隋军因之战无不胜，杨素也被称为名将。当时，杨素深得隋文帝的宠信，隋文帝对其是言听计从，杨素的部下即便是有很小一点功劳，也一定会得到朝廷的封赏，而其他将领即使立下大功，也多被具体办事的文官刁难，往往晋升很慢，因此，虽然杨素对部下非常残忍，但重赏之下必有勇夫，将士们也愿意跟着他干。
杨素平定的江南地区，仅仅局限于南陈核心统治区，其实，与这里发生叛乱相呼应，岭南地区也发动了叛乱。
南陈灭亡后，岭南地区并未归附隋朝，岭南有数郡一起尊奉高凉（今广东省阳江市北）冼夫人为主，号称圣母。冼夫人一家世代为南越部落头领，有部落十余万家。
隋文帝派遣广州总管韦洸、永州总管周法尚安抚岭南。周法尚率领三千五百人南进，南陈桂州（今广西自治区桂林市）刺史钱季卿、南康（今江西省赣州市西南）内史柳培、西衡州（今广东省英德市西北）刺史邓暠、阳山（今广东省阳山县东）太守毛爽等投降；南陈定州（今广西自治区贵港市）刺史吕子廓盘踞山洞，拒不投降，周法尚率军翻山越岭，前去讨伐。吕子廓率领一千多人退守深山，手下将其诛杀，投降了隋军。韦洸来到南岭，南陈将领徐璒固守南康，韦洸逡巡不敢继续前进。当初，冼夫人将扶南（今柬埔寨一带）的犀杖献给陈后主，至此，晋王杨广派人送给冼夫人书信，告知南陈已经灭亡，劝说其归顺隋朝，并将犀杖、兵符送来，让冼夫人过目。冼夫人见到犀杖后才确信陈国已经灭亡，遂派遣其孙子冯魂率众迎接韦洸，韦洸这才顺利进入广州，岭南地区得以平定。隋文帝晋封冯魂为仪同三司，封冼夫人为宋康郡（今广东省阳江市西）夫人。
但不足一年，到开皇十年年底，番禺（今广东省广州市）的少数民族头领王仲宣就发动了叛乱，岭南少数民族头领纷纷响应，率军包围了广州，隋朝广州总管韦洸被乱箭射死。隋文帝下诏任命韦洸的副手慕容三藏（北齐尚书左仆射慕容绍宗的儿子）为检校广州道行军事；又下诏命令给事郎裴矩巡抚岭南。裴矩，字弘大，河东闻喜人。在杨坚担任定州总管时，曾任其记室，二人建立了深厚的友谊。灭陈之战中，隋文帝任命其为晋王杨广的元帅记室，灭陈后，又命其巡抚岭南。裴矩来到南康，招募了数千人马。当时王仲宣包围了广州，又分兵派遣部将周师举包围了东衡州（今广东省韶关市）。裴矩与大将军鹿愿率军进击，周师举驻扎在大庾岭上，构筑了九座营垒，互为犄角。裴矩率军逐一将其击破，周师举只好撤围，又驻扎在原长岭（今地不详）。裴矩率军又将其击破，斩杀了周师举，遂继续南下，驰援广州。