张良也跟着到了关中，身体经常有病，不食五谷来炼气养生，闭门一年多没有外出。
皇上想废掉太子，立戚夫人的儿子赵王如意。很多大臣争论，皇上没有下定决心。吕后很害怕，不知道怎么办。有人对吕后说：'留侯很善于谋划，他也被皇上信任。'吕后就派建成侯吕泽胁迫张良，说：'您这么多年做皇上的谋臣，现在每天皇上都想着换太子，您怎么能够不感到忧愁呢？'张良说：'以前皇上多次在危难之时，能有幸采纳臣的计策;天下现在已经安定，就因为偏爱而更换太子，骨肉之间的事情，就算有我们一百人又有何用？'吕泽强烈地要求说：'给我出个计策。'张良说：'这很难用口舌来争辩。想一想皇上不能招致朝中的四个人。这四个人现在已经老了，都因为皇上对士人的怠慢，所以逃到山中，不愿做汉臣。但皇上对这四个人很看重。现在您只要能够不惜金玉璧帛，让太子写一封信，言辞谦逊，用安车迎接，再让能言善辩者去请，应该能来。他们来了以后就作为太子的贵宾，经常带着上朝，让皇上看见，会有助于太子的。'于是吕后就叫吕泽遣人带着太子的书信，谦辞厚礼，恭迎这四人。四人来了，在建成侯那里住。
汉十一年，黥布造反，皇上生病了，想派太子去平叛。四人商量说：'我们为了保住太子而来。太子带领军队，这事太危险了。'就劝建成侯说：'太子带领军队，地位不会因为有功而提高，而没有功就会有灾难。并且和太子一起去平叛的将帅们，都是当年和皇上平定天下的猛将，现在让太子率领他们，就相当于让羊率领狼，都不肯被指挥，一定不会有战功。臣听说‘母亲受宠，所生的孩子也会受到抚爱’，现在戚夫人天天侍奉皇上，赵王经常在面前，皇上说‘一定不能让不肖的儿子在爱子的上面’，就说明他一定会代替太子的地位的。您为什么不抓紧让吕后找机会对皇上诉苦，说：‘黥布，是天下的一员猛将，善于用兵，现在各将领都是以前和陛下同辈的人，现在让太子带领，这些人不想被指挥，并且黥布听到这些后，一定会击鼓西进。皇上虽然生病，只要能够乘坐辎车，躺着监视他们，各将领一定会尽力。皇上虽然劳累辛苦，就算为妻儿盘算一下。’'于是吕泽夜里就去见吕后。吕后找机会向皇上诉苦，就按照四人的意思。皇上说：'我想过了，本来不能派遣那个小子，老子亲自去吧。'于是皇上亲率大兵东征，群臣留守，都送到霸上。张良生病，勉强动身到曲邮，见到皇上说：'臣本应该跟着去，不过生病厉害。楚人很勇猛，希望皇上谨慎，不要和楚争雄。'接着劝皇上让太子做将军监督关中的兵。皇上说'虽然子房生病，勉强躺着教育太子'。当时叔孙通已做了太傅，张良实际负责少傅的工作。
汉十二年，皇上击败黥布回来，病得更加严重，想要换太子。张良上书劝谏不听，张良便借病不再上朝。叔孙太傅称引古事，宁愿死也为太子争位。皇上假装应允他，仍想换太子。等到宴会时，摆酒，太子服侍。四人随从太子，都八十多岁的年纪，雪白的头发眉毛，不凡的衣冠。皇上惊奇，问道：'这些是什么人？'四人上前回答，每个人把自己的姓名说出。皇上很惊讶地说：'我邀请你们，你们逃避离开我，现在你们为何和我儿子交游呢？'四人说：'陛下爱骂人轻视士人，我们为道义不受辱，因为害怕而逃避。现在听说太子仁孝，尊敬爱护士人，天下人都伸着脖子愿为太子效命，因此我们前来。'皇上说：'有幸烦劳各位来调教护卫太子。'
四人祝寿结束，快步离开。皇上盯着他们，叫来戚夫人指着对她说：'我想换太子，这四人辅佐他，翅膀已经硬了，难动摇了。吕氏真要成为你的主子。'戚夫人哭泣，皇上说：'跳楚舞给我看，我唱楚歌给你听。'唱道：'鸿鹄高飞，一冲千里。羽翼已成，横渡四海。横渡四海，又能怎样！便有弓箭，又有何用！'唱了几首，戚夫人呜咽哭泣。皇上起来走了，酒宴结束。最终没有更换太子，这是张良找来这四人的功劳。
张良跟随皇上攻打代，出奇计攻下马邑，劝皇上立萧何为相国，和皇上很自然地谈论天下很多事，不是讲天下为什么兴亡的，因此没有记录。张良说：'家族里世世代代做韩相，等到韩亡，不吝惜万金财产，替韩向强秦报仇，震惊天下。现在凭三寸舌头做皇上的军师，封邑万户，位居列侯，这是平民最大的荣誉，对我已经足够了。想放弃人间的事情，跟赤松子出游。'于是学习道家的学说，想修炼成仙。高帝去世，吕后认为张良是有德之人，便强迫他进食，说：'人生一世，像白驹过隙，为何使自己这样受苦！'张良没有办法，勉强进食。六年以后死。谥号文成侯。
开始张良在下邳桥上见到的给他书的老人，十三年后他跟随高帝途经济北，果然在谷城山下找到了黄石，拿回去郑重祭拜。到张良死后，和黄石一起葬了。每次上坟和伏腊时都拜祭黄石。
儿子张不疑继承侯位。孝文三年因为大不敬获罪，被除国。
张良跟随皇上攻打代，出奇计攻下马邑，劝皇上立萧何为相国，和皇上很自然地谈论天下很多事，不是讲天下为什么兴亡的，因此没有记录。张良说：'家族里世世代代做韩相，等到韩亡，不吝惜万金财产，替韩向强秦报仇，震惊天下。现在凭三寸舌头做皇上的军师，封邑万户，位居列侯，这是平民最大的荣誉，对我已经足够了。想放弃人间的事情，跟赤松子出游。'于是学习道家的学说，想修炼成仙。高帝去世，吕后认为张良是有德之人，便强迫他进食，说：'人生一世，像白驹过隙，为何使自己这样受苦！'张良没有办法，勉强进食。六年以后死。谥号文成侯。
开始张良在下邳桥上见到的给他书的老人，十三年后他跟随高帝途经济北，果然在谷城山下找到了黄石，拿回去郑重祭拜。到张良死后，和黄石一起葬了。每次上坟和伏腊时都拜祭黄石。
儿子张不疑继承侯位。孝文三年因为大不敬获罪，被除国。