他当彭泽县令，已经四十一岁，上任不久，乡里督邮（州官的特使）巡查来了，作为县令，他必须整整衣冠去拜会，但他很不情愿，不愿意“为五斗米向乡里小人折腰”，与颠倒衣裳去开门迎酒友田父，态度上就完全两样；也不同于困难时东游西走，乞米为炊。他竟一下子辞去彭泽县令不干，完全脱离封建官场，以示不群。当然他有“客观”的理由，一是彭泽县府离家太远，有一百余里，上下班不方便，同时他的胞妹病故，使他很伤感。而实在的主观的理由，他在与田父的诗中已经表露：“纡辔诚可学，违己讵非迷！且共欢此饮，吾驾不可回。”辞官后，从此家境中落，后来患痁（shān）疾（疟疾，俗称打摆子）于元嘉四年九月去世，时年六十三岁。