契丹族在建立国家以前，经历了漫长的发展过程。契丹族长期流传着古老的传说：在不能确指的时代，有男子乘白马自潢河（西拉木伦河）而来，女子乘青牛车自土河（老哈河）而来，相遇为配偶，生八子。他们的子孙组成为八个部落。这个传说表明：契丹自母系氏族制过渡到父系氏族制时，主要的活动地区即在潢河、土河流域。互为兄弟的八个部落来自共同的男祖先。
历史文献上关于契丹族的确实记载，开始于北魏登国四年（389）。北魏时，契丹各部落已开始对外掳掠，并以马匹、皮毛与北魏交换物品。八个部落各自独立活动，并未形成联合。八部落的名称是悉万丹、阿大何、具伏弗、郁羽陵、日连、匹黎尔、叱六于、羽真侯。他们经营游牧生活，以车马为家，逐水草迁徙。
北朝时，契丹一再遭到北魏和北齐的打击，对外的发展受到阻遏。隋朝时，隋将韦云起曾发大军攻打契丹，契丹遭到惨重的失败，丧失了大批的人口和牲畜。对外作战的需要促使契丹各部走向联合，每部兵多者三千，少者千余。有征伐由酋帅聚议，兴兵则合符契。唐朝初年，契丹八部开始组成部落联盟。联盟长由大贺氏选充，有胜兵四万。契丹别部孙氏（审密）与大贺氏联盟通婚姻。此外，还有一些契丹部落受唐朝统辖，不在联盟之内。唐太宗贞观时，大贺氏联盟依附于唐朝。唐朝在契丹住地设松漠都督府，加号大贺氏联盟长为松漠都督，赐姓李氏。各部落长称刺史，唐朝以营州都督控制松漠。
武则天统治时期，契丹大贺氏联盟长李尽忠（唐所赐姓名）与别部孙万荣，杀唐营州都督赵文翙，占据营州（辽宁大小凌河流域，治柳城，今朝阳）一带反唐。武则天派遣二十八名大将出击契丹。李尽忠在作战中败死。孙万荣代领部众南下，武后发大军出战，大败，孙万荣攻掠幽州（今北京）。唐朝再发大军出击，并联络契丹邻族奚兵夹击契丹，孙万荣败死。契丹大贺氏联盟遭到沉重打击。这时，突厥又在北方建立强大的国家。契丹背唐，依附于突厥，约二十年。
唐玄宗时，突厥逐渐衰落，契丹联盟长失活再度附唐。唐朝仍加号松漠都督，又号静析军大使。大约从突厥统治时期，联盟中统领兵马的军事首长的地位益加显要，唐朝加号为静析军副大使。军事首长可突于一再操纵联盟长的选举，甚至杀死大贺氏联盟长。最后推翻了世选的大贺氏，又背唐依附突厥。开元二十二年（734），唐朝联合契丹大贺氏联盟以外的乙室活部的部长郁捷，斩可突于。唐封郁捷为松漠都督。二十三年，郁捷又被部落贵族涅里杀死。涅里击败突厥，背唐自立，重建起契丹部落联盟。
涅里重建的部落联盟，自遥辇氏贵族中推选联盟长，号称可汗。涅里任军事首长，称夷离堇。新建的联盟，以乙室活部为基础，划分为乙室、迭剌两部。战乱中流散的其他部落和氏族，被收集编组成六部，以符合八部的传统。遥辇氏联盟其实是乙室、迭剌两个兄弟部落与其他流散部落氏族的结集。联盟夷离堇，由迭剌部中选任。天宝四载（745），回纥可汗推翻突厥，建立回纥汗国。此后约一百年间，契丹处于回纥汗国的统治之下，发展是缓慢的。
开成五年（840），回鹘汗国灭亡，唐朝也已处于衰落的时期，契丹由此得到发展的有利条件。唐懿宗咸通（860～873）以后，遥辇氏鲜质可汗时，契丹不断向外扩张，从邻近的奚族和北方的乌古、室韦等族以及汉人地区，掳掠居民，以充奴隶。痕德堇可汗时，迭剌部贵族耶律亿当选为联盟的夷离堇。天复二年（902），他攻掠唐朝的河东代北九郡，俘掠生口九万五千余。天祐二年（905），耶律亿又进攻唐卢龙节度使刘仁恭的领地，俘回各州汉人居民。次年，耶律亿取代遥辇氏，充任联盟长可汗。此后十年间，他又镇压了契丹贵族的反抗，在916年，建元神册，建立了契丹国家。