纵观徽州移民的历史，有三次高潮，即两晋时期的“永嘉之乱”、唐末的黄巢起义和两宋时期的“靖康之耻”，这其中尤以“黄巢之乱”为著，一次就迁居来近二十个姓族。他们迁到徽州以后，一方面带来了发达的中原农业生产和手工业技术，从而整合、改造了原徽州本土的丛林经济；另一方面，是带来了发达的中原文化，以教化乡里，礼授社会，“起学校、习礼容”，习俗由此渐变，“尚武之风显于梁陈，右文之习振于唐宋”。当地土著越民同北方华夏族友好共处、通婚融合，逐步统一融合为汉族，山越之称也从历史上消亡。
徽州文化发展过程也与移民的时间吻合，成型于东晋时期，发展于唐宋，在明清时期达到鼎盛。（三）省内移民——安庆人
现在黄山地区不少地方还分布着数目不低的安庆籍的居民。他们在家说的是安庆话，出门则说的是徽州话，这部分安庆裔的徽州人应该是最标准的“安徽人”。
黄山的安庆移民主要分为两个阶段：第一阶段始于康乾盛世时期，安庆人多地少，土地矛盾尖锐，而当时清政府刚好对皖南徽州等地的山区解禁，鼓励垦荒，对垦辟的山地予以永远免税的优待，所以大批安庆人涌入徽州（黄山市），他们被徽州原住民称为“安庆棚民”。但后来大规模的垦荒带来非常严重的水土流失，嘉庆时期，多数移民被强制遣返安庆。
第二阶段则是基于太平天国运动，徽州地区由于战乱等原因人口损失严重。1820年徽州府人口数为247.5万，1851年约为290.5万，战争中人口损失约为174.3万，至1865年剩余土著116.2万，算下来徽州人口损失率大约为60％。徽州地区因为人口的减少出现很多空闲的土地，而安庆府地区在太平天国后也时常遭遇洪涝灾害，所以安庆人又开始第二次向徽州地区迁移。自太平天国之后至1949年之前的80余年间，迁入徽州的安庆棚民群体，正是现在黄山市安庆裔居民的祖辈。
这部分安庆人又大部分都是明代江西瓦屑坝移民的后代，因为洪武年间安庆府42万居民有27万来自江西瓦屑坝，至今安庆人当中也有近60%祖籍是来自江西瓦屑坝的。
补充知识点：古徽州还有“九姓渔民”一说，他们多为元末陈友谅及其部下的子孙九姓（陈、钱、林、李、袁、孙、叶、许、何）后裔，终年在新安江流域靠撑船、背纤等苦力为生。
最后简单的总结一下，现在的黄山人主要源自古代中原南渡汉人以及当地原有土著越人，外加近代以来大量安庆籍的江西瓦屑坝移民。
