晋阳城起于春秋，奠定三家分晋基础
春秋末期，晋国王室大权旁落，出现了六卿专政的局面。六卿之一的赵简子(赵鞅)为巩固势力，命家臣董安于在西依悬瓮山、东临汾河水、地势险要的汾河谷地筑起一座高4丈、周长4里的城堡。因位置在晋水之阳，故取名晋阳。此后，赵简子的另一家臣尹铎继续加以修建，增筑壁垒，囤积粮食，安抚百姓，使晋阳城成为一个设施坚固、物资丰富的险要城池。
赵简子死后，智氏家族的族长智伯成为晋国执政，并吞并了六卿中的范氏、中行氏，实力暴涨之余，将下一个吞并的目标锁定在了赵氏家族身上，但继任赵氏族长的赵襄子凭借坚固的晋阳城，挫败了智伯纠合韩魏两家发起的长期围攻，并绝地反击灭掉智氏，一举奠定了“三分晋室”的基础。
成为御边屏障，兴起多股势力
西晋永嘉年间，并州刺史刘琨为挫败匈奴贵族刘渊等的进攻，率领晋阳军民进行了长达9年的城池保卫战。之后的历朝各代，都有名臣名将以晋阳城为屏障，多次抵御并击退匈奴、突厥等北方游牧部族的进犯。北魏的高欢、高洋父子曾以晋阳为“霸府”、“别都”。五代时期，李存勖、石敬塘、刘知远和刘崇兄弟等先后由太原起家称帝，称晋阳为“龙城”。
在此期间，从太原兴起的最著名势力就是李渊、李世民父子建立的唐朝，因此唐朝将晋阳称为“北都”、“龙兴之地”。唐贞观十一年（公元637年），李世民派并州长史、英国公李勣在汾河东岸的旧太原县城新建东城。天授元年（公元690年），武则天又派并州刺史崔神庆在晋阳东、西二城的汾水上架桥联堞，筑起了中城。使得晋阳东、中、西三城浑然一体，东西长12里，南北长8里有余，是当时国内仅次于长城、洛阳的第三大都会城市。
晋阳城盛极而衰，被赵光义举火焚毁
但随着公元960年赵匡胤在开封城内黄袍加身，成为大宋皇帝，太原城开始命运多舛。由于后汉的残余势力在太原及周边地区建立了北汉割据政权，赵匡胤及弟弟宋太宗赵光义于公元968年至979年的十余年间“三下河东”，攻打晋阳，对城池造成了极大破坏。尤其是太平兴国四年（公元979年）4月，赵光义御驾亲征，督率马步军数十万围攻晋阳，昼夜不停轮番攻城，历经1个月苦战，北汉主刘继元被迫投降、北汉灭亡。
但北汉君臣投降后，晋阳城内仍有军民负隅顽抗，加之赵光义考虑到晋阳城再出“真龙天子”，于是降诏烧毁晋阳城。5月18日，宋军在晋阳城各处纵火，将这座屹立在汾河河畔平原近1500年的千年古城付之一炬，来不及逃出城池的老弱妇孺葬身火海者不计其数。次年4月，赵光义为了掩盖其屠戮百姓、毁灭古城的罪行，引汾水、晋水淹没了晋阳城的废墟，并严禁当地人民在晋阳城旧址居住。
太原城重新崛起，成为北方重镇
太平兴国七年（公元982年），为了抵御北方辽国日益严重的威胁，宋朝不得不在唐明镇（今太原城区西羊市大关帝庙附近）周边重建太原城，并扩大范围，广修城墙，建起一座周围近12里的新城；嘉佑四年(公元1059年)，设太原府治。从此，晋阳城被改名为“太原府”。
大明洪武九年，为了抵御逃回北方草原的元朝残余势力，朱元璋派其三子、晋王朱棢出镇太原城，并在宋朝城池的基础上向东、南、北三面扩建。扩建后的新城周长24里，城高3丈5尺，壕深3丈，城墙夯土而成，外用青砖包砌，建大小城楼104座，瞭望台32座，成为“坚逾铁瓮”的城堡。
