Durant les années 1980 il exerçait dans un groupe nommé Automatic Dlamini ayant une composition changeante et incluant même PJ Harvey de 1988 à 1991. Automatic Dlamini enregistra trois albums : The D is For Drum (1987), Here Catch Shouted his Father (1990 - non commercialisé), et From A Diva to a Diver (1992). Durant cette période Parish commence aussi sa carrière de producteur-enregistreur en travaillant avec quelques groupes britanniques comme The Chesterfields et the Brilliant Corners avant de coproduire l'album de PJ Harvey To Bring You My Love(1995), sur lequel il joue aussi de la guitare, de la batterie, des percussions et de l'orgue.

Parish part en tournée avec PJ Harvey en 1995 et 1996, ils enregistrent ensemble Dance Hall at Louse Point. En 1997 il produit l'album Low Estate du groupe 16 Horsepower. En 1997-98 il jouera aussi sur l'album suivant de PJ Harvey Is This Desire (1998), et en 1998 écrira et enregistrera la bande originale du film Belge de Patrice Toye Rosie, pour lequel il recevra le Prix spécial du Jury à la Biennale de la Musique de Film à Bonn en 1999. Celle-ci sortira en CD en 1998 et inclura une chanson interprétée par Alison Goldfrapp Pretty Baby. Il partira en tournée pour jouer cette musique accompagné par un orchestre en 1999. L'année suivante il produira l'album de Giant Sand Chore of Enchantment (2000) et apparaîtra sur l'album de Goldfrapp Felt Mountain.

Il continuera sa carrière en cocomposant l'album de Eels Souljacker (2001), et produisant Sparklehorse et Tracy Chapman. Il a aussi collaboré avec un certain nombre d'artistes européens, produisant par exemple des albums du Français Dominique A, des Belges Thou, des Suisses Magicrays, des Italiens Afterhours, Cesare Basile, et la diva italienne Nada.

En parallèle il a enregistré et défendu sur scène sa propre musique, travaillant avec un orchestre symphonique pour ses albums How Animals Move (2002) et Once Upon A Little Time (2005).

En 2006-2007 il est retourné en studio pour travailler sur l'album de PJ Harvey, White Chalk. Une autre collaboration des deux artistes verra le jour en mars 2009 : l'album s'intitule A Woman A Man Walked By. En 2007, il interprètera une reprise de la chanson de Califone Vampiring Again pour l'album Thrill Jockey Records commémorant les quinze ans du label. Dans cet album on trouvera aussi une reprise de la chanson de Parish Boxers par Howe Gelb.

Il repart en tournée avec PJ Harvey de 2009 à 2012

Les 24 et 25 février 2011, il accompagne P.J Harvey sur la scène de l'Olympia.

En 2013 sort l'album Screenplay qui compile des extraits de plusieurs de ses bandes originales de films (parmi lesquelles Little Black Spiders et Nowhere Man de Patrice Toye, L'Enfant d'en haut d'Ursula Meier, Plein sud de Sébastien Lifshitz). L'année suivante sort également l'album du collectif Playing Carver dont il est l'un des membres, qui réunit autour de l'univers de l'écrivain américain Raymond Carver des musiciens d'horizons divers : Marta Collica (membre de son groupe de scène), Gaspard LaNuit et les musiciens du groupe parisien Atlas Crocodile (Boris Boublil, Marion Grandjean, Jeff Hallam, Csaba Palotaï).

L'année 2016 le voit de nouveau collaborer avec PJ Harvey, dont il co-produit avec Flood l'album The Hope Six Demolition Project et qu'il accompagne ensuite en tournée.

En 2018 John Parish sort un nouvel album. Bird dog dante. Toujours déroutant. Inclassable. Et pourtant traversé de fulgurances splendides.Un disque tranquille de pop audacieuse, élégamment expérimentale et originale.