第三，商人长年在各地奔波，与当地文化的冲突和磨合也是不可避免的。山西商人一般都会说多种方言，生活习惯也和北方边境相似，都是以牛羊肉和面食为主。当地一些城镇的兴起也和山西商人的到来有关，比如在包头，就有“先有复字号，后有包头城”之说，而复字号正是山西乔家的产业。
山西商人到了一个地方以后，不许纳妾，不许携带家眷，因此当他们在一个地方形成气候、形成帮以后，都会在当地建立会馆，作为他们听戏、聊天、联络感情的地方。上世纪八十年代，苏州要建立戏曲博物馆，看中的就是山西寓苏商人的全晋会馆。余秋雨在《山居笔记·抱愧山西》里说：“苏州也算富庶繁华的了，没想到山西人轻轻松松来盖了个会馆就把风光占尽，要找一个南方戏曲演出的最佳舞台作为文物永久保存，找来找去，竟在人家山西人的一个临时俱乐部里找到了。”
双重的衰败
“为什么在很短的时间里，辛亥革命之后短短几十年，整个晋商稀里哗啦全倒了？这是有内在原因的。”刘建生认为，晋商的衰败是制度上的衰败，也是模式上的衰败。
“山西票号商号一般实行无限责任制，当外国银行引进来了，大清银行也成立了，他要是改组成有限责任制，损失就会小得多。但是他是无限责任制，他自己没有主动从顶身股制度走到现代企业制度。这是他致命的制度上的缺陷。”刘建生总结说。
他把晋商的制度缺陷总结为五点。第一，产权日益不清晰。经过几百年的发展，企业规模越做越大，顶身股的人员多了，每个人所顶身股的股数也在增多。这样，身股所占比例慢慢变得大于银股。那么企业到底是谁的？第二，随着企业规模做大做强以后，企业家更多的是考虑自己的名誉、地位、利益，他的个人利益性动机和企业利益最大化的目标会发生冲突。刘建生举例说：“山西票号三次改组银行为什么失败？首先就是掌柜们不愿意。合组一个银行，只有一个人能当总经理，几十家票号的总经理，各自都只有三十分之一的概率。”第三，掌柜只负责盈利不负责亏损。亏了亏谁的？亏财东的。第四，山西票号发展到最后，只是家数增多，但是自由资本总量增幅不大，盈利基本上都被分红了。今天成立一个票号，明天成立一个票号，但是具体到每一个票号，它的资本总额增幅不大，打造不成航空母舰，缺少整合。第五，字号的财东不直接参与经营，而是坐收红利、养尊处优。当企业强势的时候，谁也不会跳槽。但是当整个大环境、社会环境出现变化的时候，它就风雨飘摇了，当时卷款外逃的掌柜不在少数。
