张骏是前凉国君张寔的长子，张寔被杀时，张骏还是个孩子，大臣们便拥立了他的叔父张茂当了凉州牧。晋太宁二年（公元324年）五月，张茂病死，膝下无子，张骏自然成了接班人。
张茂一死，原西晋愍帝时的特派大臣史淑就以中央的名义封张骏为凉州牧、西平公。前赵国君刘曜这时也以正统自居，派人到姑臧（今甘肃武威），封张骏为凉王。在张骏的心目中，正统应是晋朝，但晋朝已经南迁，由于交通不便一时无法取得联系，只好对封官加爵来者不拒，派人与前赵建立了关系。
张骏和他的父辈一样，始终把晋朝看成惟一的正统，把报效晋朝当成自己的神圣职责。张骏继位时，晋室已经南移到建康（今南京）。尽管中原地区战火纷飞，与东晋直接取得联系比较困难，但张骏还是想方设法向东晋表示自己的诚意。张骏鉴于从四川与东晋取得联系比较容易，便主动给占据四川的成汉国君李雄去信，劝李雄不要妄自尊大，赶快去掉帝号，向东晋称臣。不管李雄是否采纳张骏的意见，张骏仍然继续派代表团访问成汉，巴结李雄，准备假道成汉，尽快向东晋表达忠心。但是，任凭张骏说尽好话，李雄就是不答应借道。转眼之间到了咸和八年（公元333年）年底，张骏实在等不下去了，只好放下架子，以向李雄称臣作为条件派使臣假道成汉去建康。李雄表面上答应了，但暗中准备将前凉的使臣张淳投入江中，由于张淳事先得到消息，义正辞严地把李雄说了一通，才得到了通行证，从成汉通过，与东晋正式取得联系。
张骏善于用人，又勤于政事，在他治理之下，河西地区民富兵强，成为战火纷飞的中国北部少有的繁荣地区，远近百姓渐渐地都把他当成了一位贤明国君。他也有意向外宣扬炫耀一下。咸康元年（公元335年），张骏派大将杨宣出征龟兹、鄯善，龟兹、鄯善很有自知自明，料到不是前凉的对手，都乖乖地向前凉朝贡，西域的其他一些国家见状也争先恐后地向前凉朝贡。张骏为了显示自己的威风和阔气，还在姑臧城南建造了五个宫殿，分别是宜阳青殿、朱阳赤殿、政刑白殿、玄武黑殿、谦光殿。谦光殿立于中央，其他四个殿坐落在谦光殿的四周，这四个殿内的装饰分别是青、红、白、黑四种颜色，一年四季，张骏轮流到四个殿居住。
永和元年（公元345年），张骏自称大都督、大将军、假凉王，并开始设置祭酒、郎中、大夫、舍人、谒者等官职，其名称大多仿效东晋。次年五月，张骏病死，时年40岁，谥号“文公”。