绍兴十五年(1145年)考中进士，授临海尉。历任监察御史、右正言、秘书少监兼恭王府直讲、太常少卿、中书舍人。官至左丞相，封鲁国公 。淳熙十六年(1189年)卒，赠少师，谥文定。
一生为官40年，职居相位，孝宗称其“不党无私，刚直不阿”。竭力荐举贤才，李焘、朱熹、吕祖谦、辛弃疾、陆游等都曾受其荐举，一时人才济济。在枢密院，力主抗金，建议“择将、备器、简兵、足食”;批评只知“以和为和”，不知“以和为战”。注重赈济遭水旱灾害的饥民，奏请宽刑减赋。言行稳健，善于调和矛盾。朱熹与唐仲友不和，互相攻讦，孝宗问淮，以“秀才争闲气”答之，居间调停息事。
