当初，和王平同郡的汉昌人句扶（“句” 读古候反），忠诚勇敢，为人宽厚，多次立下战功，功名爵位仅次于王平，官至左将军，封为宕渠侯。（《华阳国志》说：后来张翼、廖化都担任了大将军，当时的人说：“前有王、句，后有张、廖。”）
张嶷，字伯岐，是巴郡南充国人。（《益部耆旧传》说：张嶷出身贫寒低微，却在年轻时就有通达豪壮的气节。）二十岁左右时，他担任县里的功曹。先主刘备平定蜀地的时候，山里的贼寇攻打县城，县长丢下家人逃跑了，张嶷冒着刀光剑影，背起县长的夫人突围，使夫人得以幸免。凭借这件事，张嶷名声远扬，州府征召他担任从事。当时郡里的士人龚禄、姚伷官至二千石，在当时很有名望，他们都和张嶷关系很好。
建兴五年，丞相诸葛亮北上驻守汉中，广汉、绵竹一带的山贼张慕等人抢劫军用物资，掠夺官吏百姓，张嶷以都尉的身份率军讨伐他们。张嶷考虑到山贼像鸟一样分散，很难通过战斗擒获，于是假装和他们讲和结亲，约定日期摆设酒宴。酒喝到正酣时，张嶷亲自率领手下，趁机斩杀了张慕等五十多人，贼寇的头目被全部消灭。接着追查残余的贼寇，十天之内就平定了当地。后来张嶷得了重病，病情严重，家里一向贫穷，广汉太守蜀郡人何祗，以通达宽厚闻名，张嶷向来和他关系疏远，却亲自乘车到何祗那里，托付他治疗疾病。何祗拿出全部钱财为他医治，几年后张嶷痊愈了。他坚守道义、讲信用的行为都像这样。
张嶷被任命为牙门将，隶属于马忠，向北讨伐汶山叛乱的羌人，向南平定四郡的蛮夷，常常有出谋划策、作战取胜的功劳。（《益部耆旧传》说：张嶷接受三百名士兵，跟随马忠讨伐叛乱的羌人。张嶷另外统领几个营的士兵走在前面，到达他里。那里地势高耸险峻，张嶷沿着山路向上攀登了四五里。羌人在险要的地方修建石门，在门上放置坐榻，把石头堆在上面，路过的人就从上面推石头砸击，没有不被砸得粉碎的。张嶷估计无法强攻，就派翻译告诉羌人说：“你们汶山各部落反叛，伤害善良的人，天子命令将领讨伐消灭你们这些恶人。你们如果叩首归顺军队，供给粮食费用，就会永远福禄昌盛，回报会有百倍。如果始终不顺从，大军前来诛杀，会像雷电一样迅猛，到时候即使后悔，也没有用了。” 羌人的首领接到命令后，立即出来拜见张嶷，供给粮食让军队通过。军队前进讨伐其他部落，其他部落听说他里已经投降，都惊恐不安，有的迎接军队出来投降，有的逃到山谷里，张嶷出兵攻击，军队取得胜利。后来南夷刘胄又反叛，朝廷任命马忠为庲降都督讨伐刘胄，张嶷又隶属于他，作战时常常冲锋在前，最终斩杀了刘胄。平定南方的事情结束后，牂牁、兴古的獠人部落又反叛，马忠命令张嶷率领各营前去讨伐，张嶷招降了两千人，把他们都送到汉中。）