Родился в 1337 году, происходил из московского боярского рода Вельяминовых. В крещении был назван Косьмой. После ранней смерти родителей осиротевшего мальчика взял на воспитание его родственник Тимофей Васильевич. Опекун Косьмы, занимая высокое положение (окольничий великого князя), пользовался большим доверием Дмитрия Донского.

По достижении Косьмой совершеннолетия Тимофей Васильевич сделал его казначеем своего имения.