José Pekerman nació el 3 de Septiembre de 1949 en Villa Dominguez, Entre Ríos, Argentina.
Como jugador debutó para el club de La Paternal, Argentinos Juniors, el 12 de Julio de 1970, partido el cual Argentinos perdió por 4 a 0 frente a San Lorenzo.
José llegó a disputar 133 partidos en la Primera División de Argentina, en los cuales anotó 11 goles, para luego ser transferido a Independiente de Medellín, donde jugó 101 partidos y convirtió 15 tantos.
Debido a una seria lesión en su rodilla, José debió finalizar su carrera profesional como futbolista a la corta edad de 28 años. Durante algún tiempo debió emplearse en varios trabajos, por ejemplo el de taxista, para sostener a su familia.
Comenzó su carrera como director técnico dirigiendo a las divisiones inferiores de Chacarita Juniors. Luego de dirigir esas inferiores, paso a dirigir las de Argentinos Juniors, y más tarde se encargo del Colo-Colo chileno.
En 1994, y a pesar de no tener un curriculum destacado, se le ofreció el cargo de la conducción técnica de la selección argentina juvenil.
Allí Pekerman demostró su importancia, consiguiendo 3 Campeonatos Mundiales de Fútbol, en la categoría Sub-20 (en Qatar 1995, en Malasia 1997 y en Argentina 2001) y dos Campeonatos Sudamericanos Sub-20 (Chile 1997 y Argentina 1999).
Tras la renuncia de Marcelo Bielsa a la selección absoluta en el 2004, se le ofreció el cargo a José. En el 2005, la selección estuvo bajo su cargo y obtuvo la clasificación a la Copa Mundial de Fútbol en Alemania en el 2006. En dicho Mundial, su selección quedó eliminada en cuartos de final, donde fue eliminado en la tanda de penales por la selección alemana.
Luego de la eliminación Pekerman anunció su renuncia, y su cargo fue ocupado por Alfio Basile, quien continúa siendo entrenador de Argentina en la actualidad.