此前，益州郡有人杀害了太守正昂，当地首领雍闿在南方很有威望和信誉，还派使者与孙权来往。于是朝廷任命张裔为益州太守，让他直接前往益州郡。雍闿迟疑不肯归顺，还假借鬼神的旨意说：“张府君就像个葫芦，外表虽然光滑，里面却很粗糙，不值得杀，把他绑起来送到吴国去。” 就这样，张裔被雍闿送到了孙权那里。
恰逢先主刘备去世，诸葛亮派遣邓芝出使吴国，还让邓芝在谈话间隙向孙权请求放回张裔。张裔在吴国的几年里，一直流离躲藏，孙权并不了解他，所以答应了邓芝的请求，放张裔回去。张裔临行前，孙权召见他，问他：“蜀地卓氏的寡妇，私奔司马相如，你们那里的风俗怎么会这样呢？” 张裔回答说：“我认为卓氏的寡妇，还比朱买臣的妻子贤良。” 孙权又对张裔说：“你回去后，一定会在西蜀朝廷任职，终究不会在乡里当农夫，你将用什么来报答我呢？” 张裔回答说：“我身负罪过回去，将听从有关部门的处置。如果侥幸能保住性命，我五十八岁以前是父母给的寿命，五十八岁以后就是大王赐予的了。” 孙权听了，谈笑风生，流露出器重张裔的神色。张裔走出宫门后，非常后悔自己没能装得愚笨些，于是立刻上船，日夜兼程赶路。孙权果然派人追赶，但张裔已经进入永安地界几十里，追兵再也追不上了。
张裔回到蜀地后，丞相诸葛亮任命他为参军，处理相府事务，又兼任益州治中从事。诸葛亮出兵驻守汉中时，张裔以射声校尉的身份兼任留府长史。他常常称赞诸葛亮说：“丞相奖赏不遗漏疏远的人，惩罚不偏袒亲近的人，爵位不能靠无功获取，刑罚不能因权贵而免除，这就是无论贤愚都愿意为他效命的原因啊。” 第二年，张裔到北方去汉中向诸葛亮咨询事务，送行的有几百人，车辆挤满了道路。张裔给亲近的人写信说：“最近赶路，白天黑夜都要接待宾客，得不到休息，人们敬重的是丞相长史这个职位，我张裔不过是依附这个职位罢了，真是累得要死。” 他的谈吐敏捷，都像这样。
臣松之认为，谈吐的可贵在于机警敏捷，书信则可以从容构思。现在用书信的巧妙来显示谈吐的敏捷，是不合常理的。
张裔年轻时和犍为人杨恭关系很好，杨恭去世得早，留下的孤儿才几岁，张裔就把孩子接来抚养，和自己分屋居住，对待杨恭的母亲就像对待自己的母亲一样。杨恭的孩子长大后，张裔为他娶了媳妇，买了田宅产业，让他自立门户。张裔抚恤旧友，救济衰败的宗族，行为非常仁义。后来他被加封为辅汉将军，依然兼任长史。建兴八年，张裔去世。他的儿子张毣继承爵位，历任三个郡的太守、监军。张毣的弟弟张都，担任太子中庶子。