凉州的事，得从吕光称王说起。吕光本是苻坚身边的将军，奉命征讨西域各国，若不是淝水之战天下大乱，他或许会成为中国历史上又一位张骞、班超式的人物。可惜历史不给他机会在西域安心做他的将军，也不让他在前秦做个普通的大臣，而是逼着他在乱世之中成为又一个石勒、姚苌、慕容垂。
吕光论勇猛比不过石勒，论奸诈赶不上姚苌，论谋略又不如慕容垂。他能够争得自己的势力范围，靠了四个字：“相机行事”。他能在前秦变乱之初，从西域赶回，在各割据政权来不及动手之前，夺得了凉州；又在得知苻坚被害以后，下令官吏将士为苻坚服丧，追谥苻坚，使得自己在手下那些前秦的旧臣旧将面前的形象进一步提高。
他感觉人心也收买的够了，力量也积蓄足了，就在前秦大安二年（公元386年），自称中外大都督、大将军、凉州牧、酒泉公，在凉州建立十六国时期第二个政权——后凉。
十六国的时候，凉州的面积已经比汉朝时小了很多，南面的一部分在三国时分设为秦州。即使如此，凉州仍然有八个郡之大，相当于今天甘肃的中北部，青海的东北部，以及宁夏、内蒙、新疆的一部分，这八个郡自东向西是金城郡（今甘肃兰州，当时在西秦控制下）、西平郡（今青海西宁）、武威郡、张掖郡、西郡（今武威以西）、西海郡（今张掖一带）、酒泉郡和敦煌郡（我之所以不厌其烦的罗列这八个郡，是因为对古丝绸之路特别是兰州到敦煌的一段很感兴趣，希望有一天能去实地感受一番，因此对照地图把这八个郡的位置好好的查了一下。）
面积这么大，自然有人不服吕光。先是王穆占据了酒泉和敦煌，自称凉州牧，然后是西平太守康宁自称匈奴王，张掖太守彭晃也在第二年起兵反叛，东结康宁，西通王穆。
不到一年的时间，吕光就失去了四个郡的控制，显然得采取措施。他看准了时机，决定先亲自率兵攻打彭晃。
部将都认为康宁在南面（吕光的都城在姑臧，即武威的首县），如果康宁在彭晃、王穆没被消灭时又来进攻，势必进退两难。
吕光反驳说：“这看法似是而非。如果现在不主动进击，等他们三方真正联手，从东、西两面一起进攻，那就没戏了。彭晃刚反叛，与康宁、王穆的联络还不密切，此时突然出兵，取胜的把握要大得多。”
他亲率三万步骑兵，攻城二十天，一举消灭彭晃。王穆与自己任命的敦煌太守索嘏兵戎相见，吕光又乘机攻克酒泉，王穆单骑逃走，被手下所杀。
吕光平定了叛乱，觉得自己还算是那么回事儿，就忙不迭的要称王。他先是在大安五年（公元387年）改元麟嘉，自称三河王，接着又在麟嘉八年（公元396年）即天王位，设了百官，国号大凉，改元龙飞。
（天王的称呼，在十六国时地位很特殊，后赵的石虎在称帝之前，一直自称大赵天王；苻坚一辈子没称帝，称呼就是大秦天王；这样的例子还有后来北燕的君主。这些人在死后都被谥为什么什么皇帝，我觉得天王的称呼大致高于王，而稍低于皇帝，一般是君主认为天下尚未统一而用的谦称，如石虎和苻坚的情况。故而柏杨所说的五位大帝之中就有苻坚，虽则苻坚从没有称帝。）
吕光的致命问题是对大臣过分猜忌，用刑又极重。他称天王后不久，凉州就四分五裂。
吕光最大的外敌，占据秦州的西秦乞伏氏，十年来与后凉在黄河一带争战频繁，乞伏乾归甚至占领了凉州的金城郡，并在此建都，引得吕光十分恼火。他在龙飞二年（公元397年）派儿子吕纂领兵大举讨伐西秦。
西秦王乞伏乾归是个耍手段的高手，他的部下都劝他逃往成纪（今甘肃秦安北），他很镇定，说：“曹操在官渡打败袁绍，陆逊在白帝击退刘备，靠的都是权略，不在军队的多少！吕光发动全州的士兵，却没有长远的打算，用不着害怕。更何况凉兵的前锋吕延拥有精兵，却勇而无谋，只要用点计谋，就能把他制住。我们只要打败这支军队，凉兵全军必退。”
乞伏乾归说的没错，后凉的前锋大将、吕光的弟弟吕延轻敌冒进，乞伏乾归放出假情报说自己已退往成纪，吕延果然追击，与乞伏乾归一交锋，就战死。吕光受挫，也只得撤兵回到姑臧。
吕光征讨西秦失败，原本依附于吕光的河西鲜卑首领秃发乌孤在廉川堡（今青海民和）自称大将军、大单于、西平王，很快攻下了金城，建立了南凉。鲜卑秃发部与乞伏部虽然都在陇西一带，却不同宗。他们原属漠北鲜卑一支，后来迁往河西走廊一带。有人认为“秃发”即“拓跋”的同词异译，如此看来则应与北魏拓跋氏同宗。《晋书》里关于秃发的传说则更有趣，秃发的祖先寿阗是他母亲睡觉时在被子里出生的，鲜卑语中“被”这个词读做“秃发”，秃发的姓由此而来。
姓氏来历同样有意思还有卢水胡人沮渠部。他们先辈世代在匈奴做左沮渠，后代就以这个官名做自己的姓氏。
后凉尚书沮渠罗仇就是沮渠部的后人，他随吕延出征，打了败仗，沮渠罗仇的弟弟三河太守沮渠麴粥深知吕光年老信谗，性好猜忌，很担忧自己兄弟的命运，他劝罗仇率军前往西平（当时西平的匈奴人势力较强，不愁平定不了凉州。）。
罗仇回答道：“你说得有理，可是我们家世代以忠孝闻名于西北。宁人负我，无我负人。”不久，吕光果然听信谗言，把吕延败死的罪责推到罗仇身上，将罗仇和麴粥一并杀死。
沮渠罗仇的侄子沮渠蒙逊不像他伯父那么迂腐，此人以善于随机应变著称，吕光曾对他很忌惮，他就肆意饮酒作乐来消除吕光的警惕。
沮渠蒙逊把伯父们的灵柩带回家乡安葬，前来参加葬礼的各部宗亲有一万多人。葬礼上沮渠蒙逊哭着对大家说：“我们的先辈自汉以后就雄据河西。凉王昏虐无道，滥杀无辜。我们怎能不上继先祖遗志，下为二位伯父雪耻呢？”众人顿时高呼万岁。
于是，沮渠蒙逊起兵攻占了临松（今甘肃张掖南）、金山（今甘肃山丹一带）两地。蒙逊的堂兄沮渠男成也聚众响应，因为势力不够强，他积极策反后凉的建康（今甘肃高台南）太守段业。
段业本是个书生，不懂打仗，也没有什么野心，不愿答应。他和男成在建康城内外相持半个多月，得不到后凉外援，动摇起来，深怕步沮渠罗仇的后尘，这才将男成迎入城内。男成推举他为大都督，凉州牧、建康公。蒙逊率众归附，被任命为镇西将军。沮渠蒙逊一有兵权就大不一样，他在一年之中先后攻下了后凉的西郡、张掖两郡，声势大振，西面的敦煌等郡纷纷投降。凉州张掖以西诸郡至此不为后凉所有。
这期间，吕光属下的郭黁也起兵反叛。郭黁通晓天文，能掐会算，民间都把他奉为圣人，他一造反，从者甚多。可惜“圣人”也不顶用，与吕纂的军队一交锋，便败得灰头土面。郭黁又与部众推后将军杨轨为盟主。杨轨自称大将军、凉州牧、西平公，又战败，杨轨投往秃发乌孤，郭黁投奔乞伏乾归。
后凉境内叛军一呼百应，吕光疲于应付，终于在龙飞四年（公元399年）一病不起。他自知不久于人世，就立太子吕绍为天王，自号太上皇帝，又让两个儿子吕纂、吕弘分别担任太尉和司徒。
临终前，他叮嘱吕绍说：“如今三寇（应该是指乞伏乾归、段业和秃发乌孤三家）窥伺，我死之后，吕纂统领军队，吕弘治理朝政，你自己恭谨无为，把重任交给两个兄弟，也许还可以求得太平。如果兄弟互相猜忌，那么西晋、后赵的祸乱就在旦夕之间了。”
他又跟吕纂、吕弘说：“永业（吕绍字）没有拨乱反正的才能，只因他是嫡子，才让他做国君。现在外有强敌，人心未定，你们兄弟同心，国运方能长久，否则祸不远矣。”
结果，吕光的话是白说，他一死，就发生了宫廷政变，导致后凉衰亡。整个凉州的混战，也就不可避免。