西汉的兵制承袭秦制，并在秦制的基础上继续发展，使之更趋完善和成熟。
西汉军队的最高统治权在皇帝手中。中央设有太尉、郎中令、卫尉、中尉等官职。太尉在汉初是全国最高军事长官，但只有统兵权，没有调兵权。西汉武帝改太尉为大司马，而以大将军代替太尉执掌军队。郎中令负责宫廷守卫，武帝时改称光禄勋。卫尉负责殿外宫墙内的警卫。中尉负责京城守卫，汉武帝时改称执金吾〔yu御〕。郎中令、卫尉统率的部队居住在未央宫。未央宫在城南，因此称为南军。中尉统率的部队多住在城北，所以称为北军。南军有兵卫、郎卫之分。兵卫担任殿门外门署的警卫，由卫尉统御；郎卫担任殿内廊署的警卫，由郎中令统御。汉武帝时，在南军增设期门、羽林(皇帝亲兵的名称)，都无定额，以后又在羽林中附设羽林孤儿，收养战死官兵的子孙，长大后编为部队。期门、羽林、羽林孤儿和一般卫士相比，地位较高。汉武帝还在北军增设中垒、屯骑、步兵、越骑、长水、胡骑、射声、虎贲等八校尉，扩大北军的编制。此后，又设城门校尉，也属北军系统。南北军互不相属，互相制约。郎中令、卫尉、中尉都只对皇帝负责，听从皇帝指挥。
除南北军外，西汉还有地方郡国兵。郡兵由郡太守直接掌握，而以郡都尉协助。太守掌发兵权，郡都尉负责领兵。每年八九月，郡国兵要举行一次大规模的军事演习，称为都试或秋射。通过考核，给军士划出等级，上等叫“最”，下等叫“殿”，因此称课殿最。诸侯王国的军队由相(相当于郡太守)和中尉(相当于郡都尉)统率。所有郡国兵都属于中央，诸侯王和郡太守不能任意发兵，只有皇帝遣使合符时才准发兵。无符发兵就算谋反，罪该处死。但在汉初，诸侯王权力很大，最后酿成了七国之乱。汉景帝平定七国之乱后，中央集权得到加强，全国实现了真正的军事统一。
西汉的地面部队有步兵(材官)、骑兵(骑士)、车兵(车士)，水上部队有水军，当时称楼船士。步兵、骑兵是西汉军队的主力，车兵处在逐渐被淘汰的地位。西汉的骑兵很强大，卫青、霍去病与匈奴作战，前后动用骑兵24万，所战多捷。
西汉骑兵在兵种上有轻骑兵与重骑兵之分：轻骑兵无铠，持弓弩，背负箙〔fu服〕，马匹矮小；重骑兵部分带甲，持长矛类武器，马匹高大。据考古发掘，西汉骑兵已装备适于马上近战的环柄长铁刀，但马蹬仍未出现，这在很大程度上影响了骑兵的战斗力。
西汉军队的统兵将领有大将军、骠骑将军、车骑将军、卫将军以及前、后、左、右将军。将军下面有将或别将。将军皆领有部曲。部曲制是西汉军队编制的主要组织形式。一校尉所统之兵称一部，部下有曲，曲下有屯，屯下有队，队下有什，什下有伍。部的长官称校尉，曲的长官称军侯，屯的长官称屯长，队的长官称队率或队史，什有什长，伍有伍长。一部辖数曲，一曲一般为1000人。
西汉各级统兵将领战时领兵打仗，平时负责军事训练。骑兵重在练骑射，骑兵的校尉必须是骑射好手。材官的训练以发矢张弩为主。楼船舟师不但练行船，也要练战射。边防部队要熟练掌握烽火技术。由于弓弩是汉代的重兵器，杀伤力强，所以各军兵种都要练。此外，西汉军中还将蹴鞠〔cuju促居〕(踢球，古代足球)、角抵(摔跤)、手搏(拳术)作为基础训练项目，时常训练。
西汉初期的兵役制度是征兵制，其特点是将劳役和兵役合而为一，称徭役。汉初规定，23岁至56岁的男子都要服三年兵役，一年为卫士，在京师或边境服役，称“戍卒”；一年为材官、骑士，在本郡服役，称“正卒”，再到京师或边境戍守一年。另外，成年男子每年还要服一个月的劳役，如果不愿服役，可以交钱代替，称为“践更”。戍边三年也可以钱代替，称为“更赋”或“过更”。“践更”和“过更”这两种更赋，到汉武帝时期成为国家正式税收项目。另外，西汉政府还征收算赋，凡15岁到56岁者，不分男女，每人每年交120钱，用于制造兵器和车马。
汉武帝以后，在实行征兵制的同时，还实行募兵及发罪徒为兵的制度。
屯田是指驻屯边郡的士兵从事农业生产，实现军粮自给。汉文帝时，采纳晁错建议，募民徙边，长期居住。汉武帝时，由于不断对外用兵，边兵粮草供应困难，于是在西北边区大量增设新郡，建立屯田领导系统，以屯田校尉、护田校尉、农都尉、守农令等屯田官率60万边兵屯田戍守。这些负有屯田和戍边双重任务的军队称屯田兵。屯田兵有警则战，无事则耕。这样大规模的屯田，保证了边防的后勤供应。但是，由于大量毁草开垦，辟地筑城，使西北草原植被受到很大破坏，导致风沙横行，屯垦区渐渐在风沙侵袭下变为荒漠。
西汉主要作战对象是匈奴。为了战争胜利，西汉十分注意骑兵建设，建立了健全的养马制度。
汉朝初年，刘邦刚做皇帝时，汉的马匹很少，刘邦想选择四匹同样颜色的马匹驾车都很困难，丞相只能坐牛车。为此，汉朝颁布法令鼓励养马。吕后当政时，为了繁殖军马，明令禁止母马流入境外。文帝时又颁布“马复令”，规定民间有马一匹的家庭，可免除家中三人的徭役，用免役的办法鼓励民间养马。景帝时在秦代边郡牧马苑的基础上扩大军马牧场范围，在西北边境地区设立36所牧马苑，用三万官奴，养马30万匹。武帝时期，为准备对匈奴战争，更是大量养马，为卫青、霍去病取得对匈奴战争的胜利准备了雄厚的物质基础。
西汉的马政机构，在中央由太仆负责，边郡36所牧马苑则由“六牧师苑令”管理。地方也设有马政机构，郡县有马丞，封国有仆及属吏厩长、厩丞等。由于统治者的重视，到汉武帝时，军马得到迅速发展，厩内存马已达40万匹。
西汉用兵的对象主要是匈奴。匈奴是我国北方的一个古老游牧民族，据有阴山南北广大地带。秦朝末年，中原大乱，匈奴趁机向南扩张，占据河套地区，对西汉政权构成巨大威胁。汉匈之间于是进入长达一个多世纪的对峙状态。
匈奴最高军政首领称单〔chan蝉〕于。单于下面设左右贤王(匈奴语称都耆王)，分别统御左右两部。贤王下面设左右谷蠡王。左右谷蠡王下各设左右大将、左右大都尉、左右大当户、左右骨都侯等24将。他们各掌部落，大者万余骑，小者数千骑，皆称万骑。下设千长、百长、什长、裨小王、相、都尉、当户、且渠等官尉。单于直接掌握10余万人，全部为骑兵。他们行动迅速，善于奔袭，并常采用伏击、迂回包围等战法。进攻时多采用集团突击，失利时则分散逃走。每次战斗，均以青壮年为先锋，老弱妇幼在后方管理行李、帐幕及畜牧。按规定，作战中俘获的人畜财物归个人所有。所以，匈奴兵作战勇敢，而西汉人民，特别是边地人民则深受其害。