Oliver współpracował z 4AD od 1981 aż do śmierci. W latach 1983 -1987 wraz z fotografem/reżyserem Nigelem Griersonem tworzył artystyczny duet 23Envelope.

Oliver był autorem znakomitej większości okładek albumów, które ukazały się w katalogu 4AD (m.in. "Medusa" Clan Of Xymox, "Serpent's Egg" Dead Can Dance, "Spooky" Lush, "Doolittle" Pixies, "Sleeps With The Fishes" duetu Nooten/Brook, "Treasure" Cocteau Twins, "Hips & Makers" Kristin Hersh). Jego ostatnim dziełem był cover wydanej w tym roku płyty "Beneath The Eyrie" grupy Pixies. 

Poza 4AD Oliver zaprojektował także okładki płyt m.in dla TV On the Radio, Bush, Scotta Walkera, Davida Lyncha i Davida Sylviana.