晚年唐伯虎的生活境况越来越差，是与他身体越来越差密不可分，一只能握笔的手不知怎么的就伸缩不灵便了，两条腿也变得像灌了铅一样沉，夜里常常无缘无故发低烧，热度不高却持续很久，整个人浑身乏力，神志不清。清人笔记中称唐伯虎晚年患的是“痨病”。从现代医学角度推测，有可能是肺癌，或已转移到其他部位，所谓“病入膏肓”，无缘故的低热不退就是典型症状。他没法画画了，能拿出来卖的就是几张存货。
距桃花庵不远的泰伯庙前此刻已是香客散尽，偶尔有晚归者匆匆路过，也不会去看一眼蹲在牌坊后面的那个散发披肩的落魄举子，更没有人还会想起当年骑着高头大马趾高气扬走过阊门城下的那个唐解元。
唐伯虎走了一生的坎坷路，确是累了，就斜靠着牌坊石柱，眯起眼睛睡了一会儿——
云雾升腾中，亡妻沈素笑吟吟地走过来了，还是挽着油亮的发髻，发髻上插一枝翠玉如意，这是唐伯虎买给爱妻的生日礼物；也还是裙裾婀娜，翩翩而至。
唐伯虎想去握住她的手，可怎么够也够不到。
沈素笑道：“为妻在那边等候夫君多时，夫君一向可好？”
唐伯虎凄然一笑道：“自从你离我而去，我乃是度日如年，日日对着挂在墙上的你思念不已，就期望你能从画上走下来。”
沈素关切地问：“看夫君脸色好像生过一场大病，可否去瞧郎中，又可否记着去撮药、煎药？为妻走了一路，最放心不下的就是夫君，不知谁能照顾你的饮食起居，又有谁能为你磨墨铺纸？”
“唉——”唐伯虎长叹一声，昏花的老眼里噙着泪，无奈地摇摇头，“月明花向灯前落，春尽人从梦里逢。再托生来侬未老，好教相见梦姿容。”
沈素莞尔一笑：“夫君莫忧，我与你早晚相见。我们团聚的这一天可能不远了……”
唐伯虎说：“我何时不盼着与你相见啊。不知夫人这一向可好？”
“无所谓好，无所谓不好。”沈素笑笑说，“这里土地平旷，屋舍俨然，有良田美池桑竹之属。阡陌交通，鸡犬相闻。其中往来种作，男女衣着，悉如外人。黄发垂髫，并怡然自乐。人们或穿着前朝的服饰，或穿着我朝的服饰，来来往往，飘飘然然。夫君啊，我等着你来，等着……”
唐伯虎猛然觉得有人在使劲推他，他惊醒了，一看眼前的沈素没影了，再一看站在眼前的是文徵明。唐伯虎凄然一笑，对文徵明说：“你真不该叫醒我啊，我与沈素的话还没说完呢。”说着，老泪纵横，挂在深刻着皱纹的眼角。
文徵明见唐伯虎神魂颠倒的样子，心里非常难过。他刚从祝枝山那儿来，祝枝山生了一场大病，有气无力地躺在床上，还再三关照自己多去看看伯虎老弟。自己给唐伯虎找了一个帮佣，给他料理家务。方才去桃花庵，帮佣告诉文徵明，唐大爷去泰伯庙了。他这才匆匆找来，一看唐伯虎斜靠着石柱睡着了。
“秋露已凉，”文徵明关切地说，“子畏兄，身子要紧啊。”
“对酒当歌，人生几何，譬如朝露，去日苦多。”唐伯虎握住文徵明的手，颤颤地说，“我的苦日子快要熬到头了，沈素在那边等我。。。。。。等我。。。。。。”
文徵明劝他别胡思乱想，药要吃，酒千万不能再喝，身子要慢慢调理。
唐伯虎惨淡地笑笑说：“今日有酒今日醉，莫管他日黄土埋。”
文徵明扶着唐伯虎回桃花庵。这时的桃花庵几乎是一个废园，地上的黄叶积了半尺厚，几株桃树歪歪扭扭半死不活的样子，树下横七竖八躺着几个喝空的酒瓮。
“拿酒来，快拿酒来，”唐伯虎跌跌撞撞走到桃树下，对文徵明喊道，“字行老弟，快拿酒来，我要与你一醉方休！”
文徵明说：“你不能再喝酒了，你该吃药了。”
唐伯虎突然哈哈大笑：“药、药、药，人生何处买悔药；酒、酒、酒，不如一醉方休了此生！”
明嘉靖二年（1523）十二月二日寅时，唐伯虎已经数天粒米不进，昏昏沉沉中只听到他的喃喃自语：“夫人，你等着我，等着，等……”他闭上了眼睛，再也没有睁开。
唐伯虎在孤独中走了，终年54岁。
窗外飘起了稀稀落落的雪，刀子般凛厉的风一阵紧似一阵。
唐伯虎病故的噩耗传到祝家，枝山正病卧在床，他不顾家人阻拦，执意要去桃花庵见伯虎老弟最后一面：“子畏，余肺腑友。天丧子畏，犹余丧手足也！哀哉！痛哉！惜哉！”家人没办法，就用竹榻抬着祝枝山到桃花庵奔丧。
祝枝山一进灵堂，即刻从竹榻上翻滚下来，几乎是爬着爬到死者床前，捶胸拍地，号啕大哭：“伯虎老弟，我来看你了，你睁开眼看我一眼啊！你生前活得不舒畅，死后走得太孤独，为兄真想陪你一起走啊！伯虎老弟，你走得太匆忙、太匆忙……”
文徵明这时也哭着赶来了。他正在家里画画，画着画着，猛然间笔头掉了下来，居然把宣纸戳了个洞——这不是好兆头啊。正在这时，家僮来报：“唐大爷病故了！”文徵明一惊，顿时眼泪直涌，顾不上收拾就匆匆赶来了。
众人将哭跪在唐伯虎灵前的祝、文二人扶起。
祝枝山伤心欲绝，流着泪对文徵明说：“子畏粪土财货，或饮其惠，讳且矫，乐其菑，更下之石，亦其得祸之由也。桂伐漆割，害隽戕特，尘土物态，亦何伤于子畏，余伤子畏不以是。气化英灵，大略数百岁一发钟于人，子畏得之，一旦已矣，此其痛宜如何置？有过人之杰，人不歆而更毁；有高世之才，世不用而更摈，此其冤宜如何已？子畏为文，或丽或淡，或精或泛，无常态，不肯为锻炼功；其思常多而不尽用。其诗初喜秾丽，既又仿白氏，务达情性而语终璀璨，佳者多与古合。尝乞梦仙游九鲤神，梦惠之墨一担，盖终以文业传焉。”
祝枝山这番话可看做是对唐伯虎的中肯评价。之后，他将这番话写进了《唐子畏墓志铭》中，拳拳挚情，天地可鉴。
文徵明含泪书写吊丧联曰：
少年才俊，金陵解元，才华横溢，惜文星坠落，何日魂归故里；
志趣清雅，秉性耿直，品行高尚，为世人敬仰，他年鹤来吴乡。
唐伯虎死后，暂葬于桃花庵后面的土坡中。
嘉靖二十六年（1547），唐坟迁葬到横塘镇王家村。
唐伯虎的后事是由其亲友王宠、祝枝山、文徵明等凑钱安排的。祝枝山写了千字墓志铭，由王宠手书，刻在石碑上。后世有关唐伯虎的生平事迹大多是从这墓志铭中得到的。
明万历年间，常熟书商何君立仰慕唐伯虎的诗文和为人，不惜重金，征求片纸只字，为他搜集整理诗赋词章，将唐伯虎生前散轶的近百首（篇）诗文核阅后付梓，这就使唐伯虎有了第一本较完善的诗文集传世，一时洛阳纸贵。江南著名的出版藏书家、常熟书商毛晋也十分敬重唐寅才情为人，他在编录《明诗纪事》及《海虞古今文苑》时，又特地详细收录了唐伯虎生前诗文和轶事，丰富了唐伯虎诗文内容，为后代积累了生动的文化资料。
据《常熟志》载，毛晋在整理唐伯虎诗稿时，发现其在晚年重抄的《落花诗三十首》，眼前顿时为之一亮，连连呼之：“妙诗！妙诗！”他将《落花诗》单独印成一册，并在扉页上题写“花魂之咏叹，天籁之佳音”。
毛晋还独立承担了重修唐寅墓的重任。据《苏州府志》载，崇祯十二年（1622）春，毛晋与同郡士人游春至王家村，因见一代才子唐寅之墓荆棘荒芜，牛羊放逐墓园，顿生哀悯之心。他询问附近农夫，方知唐伯虎亡后，其后嗣中唯剩一侄孙孀妇，经济拮据，困顿城内，以致唐伯虎四时之祭匮乏。毛晋凄然感叹：“是朋友之罪也，千载下读伯虎之文者皆其友，何必时与并乎？”于是，他慷慨解囊，重修墓封，再立碑石，并择地在墓旁造三间祠堂。
清嘉庆六年（1801），长沙人唐仲冕来苏州任吴县知县，以唐氏族裔的身份重修唐寅墓，碑书“明唐解元之墓”，覆以石亭，刻碑纪念。时值清明，细雨霏霏，唐知县率当地名流至唐寅墓前祭典——这是在自傲与自卑、得意与失意、快乐与沮丧、柳暗花明与山重水复中苦苦挣扎了一生的唐伯虎无论如何不会想到的。
