龙飞二年（公元397年），沮渠蒙逊和堂兄男成起兵反后凉吕光，占据凉州。但蒙逊和男成觉得自己的羽毛尚未丰满，暂时不便称王称帝，便把后凉的建康太守段业推为凉州牧。两年之后，段业改称凉王，蒙逊被封为尚书左丞、张掖太守，男成被封为辅国将军。
沮渠蒙逊既不愿立即称帝，又怕遭到段业猜忌，于神玺三年（公元401年）要求去当西安太守。段业觉得能让沮渠蒙逊离开身边是件好事，十分痛快地批准了他的请求。
沮渠蒙逊离开张掖，如同猛虎下了山。他绞尽脑汁想出了一个极其阴险的夺权方案。他先与堂兄男成约好同祭兰门山，然后派司马许咸密告段业，说男成准备借祭山之机发动叛乱。男成不知蒙逊的阴谋诡计，依约到了兰门山，自然被段业预先埋伏好的士兵捕杀。
男成一死，沮渠蒙逊便有了向段业公开挑战的借口。蒙逊把部下叫到跟前，装出十分悲伤的样子，泣不成声地对他们说：“男成无限忠于段业，段业却无辜把他杀害，难道诸位能不为他报仇雪恨吗？而且凉州兵荒马乱，段业没有能力收拾这个烂摊子。我当初推举他，以为他是陈胜、吴广那样的人物，但他信谗多忌，枉害忠良，我怎能袖手旁观，使百姓受苦！”男成平时很得人心，部将个个都愿为他报仇，所以沮渠蒙逊很快就拉起了一支1万多人的队伍，攻入张掖城内，将段业斩杀，自称凉州牧。
刚开始，沮渠蒙逊感到国力还不够强大，比较注意与周围邻国建立和睦关系，以避免争端。登位当年，蒙逊把儿子奚念送到南凉作人质。南凉国君秃发利鹿孤故意刁难，以奚念年龄太小为借口，指名索要蒙逊弟弟沮渠絮。蒙逊虽被迫答应，但一直耿耿于怀。九年之后，沮渠蒙逊自感北凉羽翼已丰，便亲率3万士兵出击南凉，景王秃发傉檀被迫迁都到乐都，蒙逊夺得了南凉国都姑臧（今甘肃武威）。永安十二年（公元412年），蒙逊迁都姑臧，改称河西王，改元玄始。逃到乐都（今属青海）的秃发傉檀接连几次败于沮渠蒙逊之手，气得暴跳如雷，于玄始二年（公元413年）再次征北凉。谁知先后在若厚坞、若凉被北凉所败，乐都也被围攻。秃发傉檀见北凉来势凶猛，自感不是对手，便主动向蒙逊求和，以老臣太尉俱延为人质，才使蒙逊同意退了兵。
在出兵征伐南凉的同时，沮渠蒙逊也向西凉用兵。永安十年（公元410年），蒙逊在马庙打败西凉太子李歆；玄始七年（公元418年）九月，又派兵抢割西凉庄稼。两年之后，蒙逊想消灭西凉，带兵声称攻打秦的浩台，到达浩台时，又偷偷地把部队拉到川岩。西凉主李歆不知蒙逊的计谋，带着3万士兵出了酒泉，到达渎涧时，遭蒙逊突然袭击，西凉兵全军覆灭。次年三月，蒙逊又攻取西凉的敦煌，占有了整个凉州地区。
接二连三的胜利使沮渠蒙逊趾高气扬，不可一世，正当他想进一步扩大征讨，义和三年（公元433年）四月突然病死，时年66岁。谥号“武宣王”，庙号“太祖”。