从战国到明、清两千多年的时间里，历代在山西共修筑了七千多里的长城。现在有遗迹可辨的还尚存三千余里。山西境内的万里长城结构分土筑和砖筑两种。有些段落的长城至今保存尚好，且有独特之处。如别的地带长城基本上是在山脊上蜿蜒，给人以绵延不绝之感，而偏关老牛湾到河曲楼子营的长城，是屹立在黄河岸边悬崖之上，其中偏关县桦林堡一带约有30余公里的长城，至今保存尚好，全部包砖，高耸河岸，甚为壮观。河曲县内的长城大部分又在黄河谷地，施工条件差，还需要多种辅助工程。有些段落至今好似黄龙逶迤于黄河岸边。代县境内的长城以雁门关以西白草口附近一段保存较好，几座敌楼大体完好，形势非常壮观，内外长城衔接处偏关县红门口附近的长城也比较完整，这里城堡、烽火台、敌楼有的依然如故。

　　山西境内的战国时期长城，主要是赵长城，也就是赵肃侯时修筑的“赵北城”。东起河北省涞源县，北界蔚县，南界三飞狐上以东地区，西行，入灵丘县北境，复西行，入繁峙县之北界，再西行，经应县、山阴到代县西北之雁门，即古代的勾注。又由此转向西南行，入宁武县之东南境，到阳方口附近，再西南行，经五寨、岢岚与岚县交界处到兴县，再往西北，到保德县黄河岸止，在山西省境内长七百余里。这段长城现在有遗迹的，还有一百余里。遗迹高不足一米，大都是石头筑成，少许地段黄土夯筑。遗迹明显的地方在宁武县楼子山附近的“城墙梁”。山下的大石上，至今尚有明正德年间宁武府兵备的石刻题字：“紫塞长城”。

宁武县境内赵长城

　　汉武市元光五年（公元前 130年）在当时的平舒县（今广灵县）一带修筑过长城。至今有遗迹的还有八十余里。以广灵县直峪口附近的长城为主，蜿蜒起伏，石筑而成。残高不足一米，底宽尚存二米。东汉光武帝刘秀曾派杜茂、王霸二人于建武十二年、十三年（36——37年）在现在的阳高、大同、左云一带，筑“亭障”三百余里，这些障塞的位置与明长城的位置很近，至今烽台密布，遗迹尚存，大部分地段还为明代长城所用。

　　北魏在修筑北部长城之外，又于太子真君七年（ 446年）修筑了畿上塞围，自河北省的延庆县至黄河边上的山西偏关一带。这段长城在我省东西长八百多里，南北长八百多里。当时征集民工十万人，筑了将近两年，工程规模是比较大的。

　　东魏孝静帝元善见武定元年（ 543年），丞相高欢征集民夫五万人于肆州北山（今忻州市西北）筑长城一百五十里。由于自然风化和水土流失，现存遗迹仅十余里。

　　北齐长城工程，主要是在天保年间完成的。此外，在河清二年（ 563年）又曾诏斛律光筑河北、山西交界处长城二百里。北齐所筑的长城从黄栌岭开始，跨离石小盆地到临县乌突戍往北，又到兴县的长城坪折东北经岢岚到五寨、宁武交界处，再折而向东到居庸关、山海关，纵横三千余里，山西境内一千八百余里。

　　北魏和北齐所筑长城，和现在的万里长城有密切关系。现在的明代长城的走向，黄河以东，外边长城和北魏所筑长城相近，内边长城则和北齐长城相近。大部分的地段，后者用了前者的基础。

宁武马仑草原上的北齐长城遗址

　　隋文帝开皇年间（581———600年）曾三次修筑长城。在山西境内的主要是石州长城和岚州长城，有一千余里。其中最完整的地段在岢岚县，最高处四米，顶宽三米，很有气势。隋长站不少地段沿用了北齐长城的基础。

　　唐代长城在太谷县东南八十里的马岭关（分属榆社县）上。根据《唐书·地理志》的记载，此城是唐高祖武德二年（ 619年）修筑的，现在马岭关附近的山上，长城的遗迹还隐约可辨，大部分地方已风化破坏殆尽，接近和平地一样了。

　　明王朝为了防止瓦刺的入侵，不得不大规模地修筑长城。在东起鸭绿江，西至嘉峪关大体沿长城一级，逐次建立了九个边际重镇，九过中有两边是在山西，即大同边和太原边。

　　大同边治所在今大同市。管辖过墙（长城）东起天镇县东北的镇口台，西到偏关三道边，长一千零八十六里。分偏关段、平鲁段、右玉段、左云段、大同段、阳高段、天镇段七段。

　　太原边治所在偏关，即今偏关县东北。管辖西起保德黄河岸，经河曲、偏关、老营、宁武、雁门关、平型关、龙泉头（阜平西）、固关、黄榆关、黄泽关到壶关，总长一千五百余里。此边分偏（关）代（县）段、山阴段、应县段、浑（源）繁（峙）灵丘段、茨（沟营）黄（泽关）壶关段五段。

　　清代除了维修明代长城外，在个别地段又新筑了长城。如在吉县小船窝一带同治七年曾修筑长墙十余里。此墙是清政府为防西捻军东渡黄河而筑的。

吉县壶口瀑布南侧的清代长城景清门