丘遲一生橫跨宋、齊、梁三朝，出生成長于劉宋后期。 其父丘靈鞠，也是當時著名文人。

　　丘遲8歲能文。早年仕于南朝齊，任太學博士、大司馬參軍。因父喪，兩次去職。服喪期滿，任西中郎參軍。母亡，又去職服喪。以秀才后仟殿中郎、車騎錄事參軍。入蕭衍幕為驃騎主簿。梁武帝時，任散騎侍郎、中書侍郎，領吳興邑中正，侍詔文德殿。坐事免職。

　　梁天監三年，出任永嘉太守，在任4年。提倡農桑，重視教化，崇尚儉約富民。雖然他的政績史書記載較少，卻是萬歷《溫州府志》中南梁五十五年內入志的兩位郡守之一。 任永嘉太守期間所作《永嘉郡教》一文中說“貴郡控帶山海，利兼水陸。實東南之沃壤，一都之巨會?！?

　　梁天監四年（505年），臨川王蕭宏伐魏，丘遲為諮議參軍兼記室，時陳伯之率軍抗梁，丘遲以一篇《與陳伯之書》打動陳伯之率部歸降，其中“暮春三月，江南草長，雜花生樹，群鶯亂飛······”描寫溫州等江南景色，膾炙人口。

　　回朝后升中書郎、司空從事中郎（一作司徒從事中郎）。

　　梁天監七年，卒于任所，年僅44歲。