Né à Los Angeles, mais élevé à Manhattan, James Cromwell a grandi dans un mileu artistique. Il découvre sa vocation au contact de son père, le réalisateur John Cromwell , ("blacklisté" à Hollywood en 1953, pendant la chasse aux sorcières) et de sa mère : Kay Johnson (vue dans Madame Satan de Cecil B. DeMille ou encore dans La Ruée de Frank Capra).Il décide de suivre les cours d'interprétation et de mise en scène de l'université Carnégie-Mellon. Après ses études, il débute au théâtre. Cromwell joue alors aussi bien du Shakespeare que des pièces expérimentales. Les dix premières années de sa carrière seront consacrées à jouer les grands titres du répertoire classique à travers les USA. Avant tout acteur de télévision, James Cromwell s'est illustré dans de nombreuses séries parmi lesquelles : All in the family, Star Trek nouvelle génération , mais aussi Dallas ou encore M*A*S*H. A son actif également de nombreux téléfilms. Il a été sélectionné à l'Emmy award pour son interprétation de William Randolph Hearst dans Citizen Welles et pour sa participation à la série "Urgences". En 1976, il fait ses débuts d'acteur au cinéma et tourne son premier film Un cadavre au dessert, tout en retournant régulièrement sur scène.Découvert dans des comédies parodiques comme L'homme aux deux cerveaux, Cromwell tiendra également des rôles dramatiques dans Romeo is Bleeding, L' Effaceur. Habitué à être au second plan, son rôle du fermier Hoggett dans Babe, le cochon devenu berger, lui apporte la célébrité et lui vaut d'être cité pour l'Oscar du meilleur second rôle. Son air débonnaire et son apparente bonhomie font de lui un acteur qui excelle dans les rôles à contre emploi. Il fait des seconds rôles remarqués dans L.A. Confidential où il interprète un policier véreux et cruel; et dans Space Cowboys aux côtés de Clint Eastwood. En 2000, il apparaît dans le blockbuster La Somme de toutes les peurs aux côtés de Ben Affleck, et en 2004 dans le film de science-fiction I, robot d'Alex Proyas.