我们现在所称的晋商，往往特指明清时期的山西商人群体。很多作品中晋商的历史都是从公元14世纪中叶明王朝建立之初开始记述的。近年来热播的关于晋商的电视连续剧《乔家大院》、《大盛魁》等，记述的都是清朝时期的晋商。其实，山西商人群体早在春秋战国时期就已经非常活跃。
早在春秋战国时期，山西地区的商业贸易活动就已经非常频繁。据司马迁《史记货殖列传》的记载，中国最早成名的几位富商大贾之一猗顿，就是在山西发迹的。猗顿本是鲁国穷士，经陶朱公范蠡的指点，来到晋国的西河地区经商，以贩盐起家，又在猗氏(今山西临猗县的南部)大畜牛羊，经营珠宝，迅速发财致富，短短10年之间资产积累胜过一般王侯。后来，猗顿便被视为山西商人最早的代表人物。
到了汉代，山西呈现出“富商大贾周流天下，交易之物莫不通”的繁荣景象，当时的代州(今山西代县)、泽州(今山西晋城)、潞安(今山西长治)等地，先后成为全国商人频繁活动与商品物资的集散地。魏晋南北朝以来，山西依然是全国政治军事的一大中心，商业活动相对频繁，不少名商巨贾在此经营，像西晋时的繁峙商人莫含，“家世货殖，资累巨万”，在政治上也颇有作为。
隋唐时期，随着并州政治、经济军事地位的突出，商人的活动更趋于活跃。中国历史上第一位也是惟一的女皇帝武则天，其父亲武士護就是太原府文水县的一位富商，长期经营木材生意。在李渊、李世民父子在太原起兵时，武士護不计较后果，出重资襄赞，并在隋炀帝坐探、太原副留守王威和高君雅准备密告的关键时刻，及时预警，防止了起义活动夭折。
宋朝建立之初，山西大地上建立的北汉割据政权与大宋王朝连番恶战，令宋朝军队死伤累累，因此宋太宗赵光义下令焚灭北汉国都太原城（当时称作晋阳城），将其变成一片瓦砾。但由于山西社会经济的迅速发展繁荣，新的太原城迅速在汾河岸边得到重建，并一直发展至今，如今太原城内的米市街、南市街、柴市街、菜市街等，其实就是宋代形成的各种专业市场所在地。民间也很快传出了“花花真定府，锦绣太原城”的童谣。
之后的元代，山西的商业也相当繁荣。意大利人马可·波罗甚至在他的游记中这样写道，山西的“商业相当发达，各种各样的物品都能制造，尤其是武器和其他军需品更加出名。这些军械，专供皇家的军队使用，十分便利。这地方葡萄数目很多，葡萄产量十分高，其他水果也很丰富。由于大量种植桑树，养蚕业极为发达”。