十数年后杨茂病逝，临终前嘱托发妻连同杨瑾、杨旭母子三人投奔咸阳远房兄弟杨奢。杨夫人于途中又染疾病故，杨瑾兄弟几经波折寻到杨奢，怎奈虽有叔侄之名，却无亲情。时年杨瑾十五，杨旭年仅三岁，在叔父家尽遭冷言白眼，睡的是漏屋草席，食的是残羹冷炙，过了两年名为客实为奴的光阴。恰逢始皇征兵徙民，杨瑾看出杨奢舍不得亲子远赴边疆，便主动提出代表弟从军。杨奢大喜过望，岂有不答应之理，虚伪地落泪一番，为防杨瑾反悔，迫不及待吩咐家中为“贤侄”准备新衣、盘缠。杨瑾不放心把幼弟杨旭独自留在叔父家，索性带在身边，一同上路。杨瑾把自家身世说罢，那同营房的三人大怒，对杨瑾那无良的叔父唾骂不止。杨瑾对顾勇三人深揖一礼：“舍弟年幼，又别无亲人，只能带在身边，与诸位同住，若有不便，还望海涵。”“好说！何必客气！你我今后就是袍泽兄弟，你的弟弟就是我的弟弟！”顾勇豪迈地搀扶起杨瑾，忽然灵机一动，“我说哥几个，既然大家年纪相差无几，又有缘睡在同一屋檐下，何不结为兄弟？”杨瑾自是满口答应，另外两人也连声称好。刚好此时最后一个戍卒也来报到了，刚入营房，还没明白怎么回事儿，就被顾勇不由分说一把抓过来按在地上。众人跪倒在地，以天地为证，从此互为异姓兄弟。
这几人中，吴卓年纪最长，已二十有三，是为兄长，最后进门的田瑞和居次，是二哥。杨瑾虚长顾勇一月有余，居三位，反倒是最先提议的顾勇成了四弟，然后是陶素，末位自然是年方五岁的杨旭。众人呼兄唤弟后，各自说明身份来历，才明白大家各有来历，要么曾是一方大族，要么曾在六国做过大官，只不过连年战火，或落败或离乡，没落成平头百姓，这才到云中郡边陲之地求个出身，顾勇不禁为自己刚才炫耀门庭略感羞愧。杨瑾的军旅生涯就此拉开了帷幕。蒙恬在云中郡主要做四件大事：一是沿河修建屯兵驻民的城池；二是屯田垦荒；三是修筑长城；四是抵御犬戎时不时地骚扰进犯。杨瑾这班戍卒终日操练习武之余，多是从事土木、开荒等作业。枯燥的日子令一心想去打仗的顾勇叫苦连天，盼来敌如盼久别的亲人。杨瑾倒是安于现状，能够和弟弟过安稳日子，又不用看人眼色，便知足了。杨旭正是长身体的时候，杨瑾等人各省出部分口粮，再加上不断开荒辟田过程中，常常捕得到野物，倒也将他养得敦实强壮。