徽商崛起于明代中叶，由盐业起家，是在封建政权的庇护下等到发展的。到了清道光时期，随着封建统治的日趋没落，课税、捐输日益加重，徽州盐商的处境愈来愈为困顿。歙县盐商巨子江春到了晚年，已不得不靠皇币以资营运。道光十二年（1832年），政府在盐场附近设局课税，不论谁，凡缴足盐税，即可领标运盐，销售各地，打破了原来由徽商控制的官商一体的包销制。靠盐业发迹，进而控制盐业专利的徽商，适应不了再度开放、自由竞争的局面，开始衰落。继而典当业也因外国洋行的侵入而中落。

    茶商、木商则由于鸦片战争和太平天国运动的影响，商路阻断，亏耗不可胜数。尤其是帝国主义入侵，外来资本渗入，以及受近代思想洗礼，同帝国主义、军阀官僚联系密切的广东、浙江财阀的兴起，封建生产方式逐渐发生变化，资本主义生产关系的出现，商业经营方式渐异于往昔。只掌握传统商业知识、技能的徽商，限制在贩卖销售的商业范围之内，甚至渐渐与旧式手工业和农业失去紧密的联系，所贩卖销售的货物，差不多都是从外地或本地的生产者或贩运者手中购来的。势必要受人宰割，仰人鼻息，不能占有操纵、垄断、独占的支配地位，开始走下坡路。但部分徽州商人在外来资本和官僚资本这两股势力夹击下，顽强抗争。如“红顶商人”胡雪岩、“地皮大王”程霖生曾一度辉煌，但这毕竟只是徽商衰运中的微光。他们同帝国主义没有关系，同新军阀官僚没有渊源，在同新财阀的竞争中落败，是历史的必然。