1842年12月23日，一个中国人在广州写信给他在美国马萨诸塞州的朋友库欣说，如果不是年纪太大，经不起漂洋过海的折腾，他实在十分想移居美国。同一天，他在写给另一位美国朋友罗伯特•福布斯的信中也表示：“如果我现在是青年，我将认真地考虑乘船往美国，在你附近的某处定居。”
这个写信的人非同一般，他是当时的中国首富，甚至被美国《华尔街日报》视为世界首富。他是19世纪国际知名度最高的中国人之一，伍秉鉴。其资产，1834年估计为2600万银元。这个数字，将近当年中国政府财政收入的一半。按照国际银价换算，这个数目相当于今天的50亿元人民币。而且，伍家在珠江边的豪宅，据说可与红楼梦中的大观园媲美。
伍家先祖于康熙初年定居广东，开始经商。到伍秉鉴的父亲伍国莹时，伍家开始参与对外贸易。1783年，伍国莹迈出了重要的一步，成立怡和行，并为自己起了一个商名叫“浩官”。该商名一直为其子孙所沿用，成为19世纪前期国际商界一个响亮的名字。
1801年，32岁的伍秉鉴接手了怡和行的业务，事业也开始快速崛起。伍秉鉴本人则成为广州行商的领头人——总商。
所谓的行商，是清政府用来垄断对外贸易的制度。行商的业务主要是承销外商进口货物，代购外商所需货物，划定进出口货物的价格，保证交纳外商进出口船钞和货物税，代理政府管束外国商人的行动，传达政府对外商的政令，办理政府与外商的一切交涉事宜。
广东地方政府于1686年招募了13家较有实力的行商，指定他们与洋船上的外商做生意并代海关征缴关税，这就是历史上著名的“广东十三行”。1757年（乾隆二十二年），清朝实行闭关锁国政策，仅保留广州一地作为对外通商港口。这一重大历史事件，直接促使十三行成为当时中国唯一合法的“外贸特区”，而怡和行，自然是其中翘楚。
对外贸易容易发财，但经营的风险也不小。研究显示，十三行商人不断变换，洋行平均寿命不到10年。从1760—1843年的84年中，先后共有47家洋行开张营业，而在1771—1839年间停业、倒闭的则有37家。许多行商，因为积欠官方税银或外国商人债务而倒闭，破产、抄家、下狱、充军司空见惯。
十三行商人的破产，一个最重要的原因是商业利润被官方抽空。在官方看来，行商是一块肥肉，可以随便找个理由甚至制造理由罚款。一旦发现外商违反规定，负有担保责任的行商就要遭受50倍甚至100倍货税的罚款。比如1800年，怡和行承保的一艘英国东印度公司商船“休•英格利斯”号，船上会计员私人的物品（两对表）因放入铁箱保管，未及取出而被携带上岸，海关官吏认为其偷税漏税。怡和行提出缴付180银元了事，结果被海关罚税50倍。
官方还动辄要求行商捐献财产，如遇到战争、水旱灾害或皇帝生日，行商要主动捐款，时称“捐输”或“报效”。根据1773-1835年间官方档案材料记载，行商向朝廷捐款就达508.5万两银子，实际捐数当远不止此数。仅1833年一年，怡和行捐款据说就达50万两。
行商们还经常受到官吏个人的勒索，稍不遂意，大祸立至。伍氏曾被比喻成“肥羊”，行商中的另一成功者潘氏则说：“宁为一只狗，不为行商首。”行商资格的获得，有时候也不是完全自愿的，一旦入了行就不能退出。伍秉鉴要求退休而不得，花了90万银元（一说银两）的代价，才将位置改由他儿子顶替，但官方仍要他负担作为行商一切的责任。他只好进一步表示，愿意捐献2600万银元中的80%给官方，以求安享余下20%财富，仍不能如愿。
除了大清官方，外国人也不是善碴。行商就成了风箱中的老鼠，两头受气。在鸦片战争爆发前，伍秉鉴曾经想充当调停人，避免战祸的发生。但林则徐没有听从他的建议。作为行商之首，他的继承人、儿子伍绍荣被逮捕入狱，他则被套上锁链，押往英国大鸦片贩子颠地创办的宝顺洋行，成为催促颠地接受传讯的筹码。林则徐威胁说，如果颠地拒绝前往，伍秉鉴将被处死。颠地则为了自己的生命安全而置这种威胁于不顾。
鸦片战争结束之日，也是伍氏破财之时。1841年5月，清军战败，被迫向英军交纳600万银元的赎城（广州）费，伍氏交了110万元。《南京条约》签订，要求赔款2100万银元，其中300万是商欠，伍氏交了100万元。
在大清帝国的统治之下，商人不过是官吏敛财的对象，其生命和财产安全都是完全没有保障的，个人尊严就更不用说了。
对于商人伍秉鉴来说，既然无法改变现实，逃避就成了唯一的选择。耄耋之年的伍秉鉴已经看透了世局，所以想到了移居美国。对于伍秉鉴信中流露的心态，台湾学者陈国栋的评论是恰当的：“看来鼎鼎大名的伍浩官（浩官是伍氏怡和行的商名）不但对洋行的工作失望了，对整个中国的社会制度也失望了。”
