西南夷，是两汉时期对巴蜀以西、以南地区少数民族的总称。秦朝时，常頞初步开通了五尺道，联系巴蜀与滇池地方，并在沿线派驻了一些官员进行有限的管理。刘邦建立汉朝初年，因国内政局动荡不定，无暇顾及边防。北方的匈奴不断南侵，岭南的赵佗自立为南越王，西南方面的五尺道也被迫放弃。经过文景之治，汉朝的国力逐渐强盛。武帝即位后，改防守为扩张，在西南方向的主要举措，就是开通西南夷道。
西南夷道由通向西夷与南夷的两条路线组成，通向南夷地区的称夜郎道，通向西夷地区的称灵关道。
夜郎是我国西南地区少数民族建立的一个古国，秦汉之际曾与巴蜀、南越有过交通来往，但道路极其险阻。“以地图察其山川要塞，相去不过寸数，而间独数百千里，阻险林丛弗能尽著。视之若易，行之甚难。”汉使唐蒙出使南越番禺时，南越人请唐蒙吃枸酱。枸酱是蜀地特产，怎么会在岭南出现？唐蒙一打听，原来是通过牂牁江运来。牂牁江广数里，直达番禺城下，西北通夜郎。唐蒙由此知道蜀地与岭南有水路可以相通。建元六年（前135年），唐蒙上书汉武帝，以夜郎兵去打南越：“窃闻夜郎所有精兵，可得十余万，浮船牂牁江，出其不意，此制越一奇也。”汉武帝任命唐蒙为郎中将，率兵千人、后勤人员三千人，从巴蜀筰关入夜郎，胁迫夜郎内附，置犍为郡（治所在今四川宜宾西南）。元光五年（前130年），发巴蜀兵卒千余人，修筑僰道至牂牁郡的道路，经僰道（今四川宜宾）、南广（今四川筠连西南）至平夷（今贵州毕节），史称为夜郎道。次年，西汉又在南夷道上设置驿亭。
灵关道又称灵光道、旄牛道。元光五年（前130年），蜀人司马相如上书汉武帝：“西夷卭、筰可置郡。”汉武帝任命司马相如为郎中将，出使西夷，建越雋郡，并建成灵关道。灵关道东起犍为，接夜郎道，西至旄牛（今四川汉源南），然后南行至越雋郡。由越雋郡往南，可通今云南大理、保山一带，最远达到滇池地区。
汉武帝开西南夷道，花费了很大的人力、物力才得以完成。唐蒙开夜郎道，时间超两年：“唐蒙已略通夜郎，因通西南夷道，发巴、蜀、广汉卒，作者数万人。治道二岁，道不成，士卒多物故，费以巨万计。蜀民及汉用事者多言其不便。”开灵关道，是以非常富庶的巴蜀四郡之财力、人力举行。由于受地形、气候等自然环境的限制，而且西南少数民族也不愿意归顺，开拓工程进行了数年仍没有完成，于是成为一项举全国之力进行的工程：
汉武帝像
当是时，汉通西南夷道，作者数万人，千里负担馈粮，率十余钟致一石，散币于卭僰以集之。数岁道不通，蛮夷因以数攻，吏发兵诛之。悉巴蜀租赋不足以更之，乃募豪民田南夷，入粟县官，而内受钱于都内。东至沧海之郡，人徒之费拟于南夷。
与此同时，汉与匈奴之间的战争还在进行，军费开支巨大。最后，在公孙弘建议下，汉武帝放弃对西夷的征伐，一心致力于北部边疆对匈奴的战事。历尽艰辛开通的西南夷道，成为联系巴蜀与云贵高原各部族的重要通道，汉文化也由此通道传入西南地区。但是，这种联系在汉代是相当不稳定的，巴蜀与外界的交通联系，仍以北方和东方为主，汉文化对西南地区的影响也是有限的。