Матвей Васильевич Захаров родился 5 (по новому стилю – 17) августа 1898 года в деревне Войлово (ныне – Старицкий район Тверской области) в крестьянской семье. В 1913 году Захаров окончил Тверское городское высшее училище, после чего уехал в Санкт-Петербург. Работал слесарем на различных предприятиях.
Принимал участие в Октябрьской революции. Командовал батареей, дивизионом на фронтах
Гражданской войны. После окончания войны продолжил службу в Красной Армии. Служил на штабных и командных должностях в различных артиллерийских и стрелковых частях. 4 июня 1940 года Захарову было присвоено звание генерал-майора, 11 июля 1940 года он был назначен на должность начальника штаба Одесского военного округа.