作辛苦，每年伏日、腊月，煮羊炖羔，用酒一斗，自我犒劳，酒后耳热，仰面朝天，敲着瓦盆，放声吟唱，诗中写道：‘南山种田，荒芜杂乱，种一顷豆，落地成秧。人生不过及时乐，等待富贵何时来！’就算是荒淫无度，我不知不可以如此。”再有，杨恽兄长的儿子安平侯杨谭对杨恽说：“你的罪并不大，又曾于国有功，将会再次被任用。”杨恽说：“有功又有什么用！不值得为皇上尽力！”杨谭说：“皇上确实如此。司隶校尉盖宽饶、左冯翊韩延寿都是尽力的官吏，都因事被诛杀。”正巧出现日食，一个名叫成的马夫头上书控告杨恽说：“杨恽骄傲奢侈，不思悔过。这次出现日食，就是因为杨恽的关係。”奏章交给廷尉，经过核查，发现了杨恽写给孙会宗的信，汉宣帝看了以后，对杨恽深恶痛绝。廷尉判处杨恽大逆不道之罪，腰斩；妻、儿放逐酒泉郡；杨谭受其牵连，也被贬为平民；几位与杨恽关係友善的在职官员，如未央卫尉韦玄成和孙会宗等，都被罢免官职。