Na kytaru začal Abercrombie hrát již ve 14 letech, později, po úspěšném studiu na škole v Berklee v Bostonu, se záhy stal jednou z hlavních tváří jazzové fúze. Již v 60. letech spolupracoval například s varhaníkem Jimmym Smithem, ke konci 60. let se stal součástí unikátní kapely Dreams stavějící na přicházející moderní vlně jazz fusion. Zde také započala jeho pozdější spolupráce nejen s bratry Randym a Michaelem Breckerovými, ale rovněž také s bubeníkem Billy Cobhamem. Jemu později hostoval na deskách Shabazz či legendární Croswinds.

Od roku 1973 se stal jednou z hlavních tváří věhlasné nahrávací značky ECM Records (u této značky vydržel tedy takřka 50 let), kde také o rok později vyšla jeho debutová deska Timeless ve spolupráci s českým klávesistou Janem Hammerem a a bubeníkem Jackem deJohnettem. Spolupráce s druhým jmenovaným a basistou Davem Hollandem vyústila v jeho nový projekt Gateway, kde mu následně vyšly dvě desky.

John Abercrombie pokračoval v experimentování v elektrické fúzi i později. Začal například v 80.letech experimentovat s kytarovými syntezátory, což ho přivedlo i ke kontaktu s kytaristou Johnem Scofieldem či Ralphem Townerem. Rovněž ovšem rozvíjel později svoji koncepci jazzové kytary a jazzových houslí ve spolupráci s Markem Feldmanem.

Americký hudebník zaujal ovšem nejen svojí jazz fusion kapitolu. Sám se naopak snažil posunout později i jiným směrem než jeho současníci John McLaughlin či například Al di Meola. Jeho příklon k post bopu či vůbec decentnějším jazzovým formám ho přivedlo v novém tisíciletí k vytvoření svého nového kvartetu. Za zmínku ovšem stojí rovněž i jeho zajímavé turné v roce 2004 s brazilskou kytaristkou Badi Assad a nedávno zesnulým Larrym Coryellem. Zde ukázal nejen svůj nadhled, kdy už dávno opustil nějaké kytarové exhibice, ale s výrazem trpělivého učitele dával naopak prostor své spoluhráčce.

Samostatným příběhem se dá pojmout Abercrombieho vztah k českým jazzmanům. Kromě již zmíněného Jana Hammera Abercrombie v počátcích své kariéry spolupracoval i s Miroslavem Vitoušem či později Georgem Mrazem. Mimo tyto převážně v zahraničí působící umělce ovšem Abercrombie podpořil i kytaristu Rudyho Linku či přímo hostoval na desce Tales tria Roberta Balzara! John Abercrombie rovněž často vystupoval v České republice. Naposledy se ukázal v roce 2014 na pražském festivalu Prague Proms, kde si zahrál společně s Českým národním symfonickým orchestrem v Obecním domě.