Mens hun gjorde ikke sluttet Showet, hun dro etter sesongen 1981. Dette var fordi produsentene av showet bestemte seg for å skifte fokus til John-Boys familie, og Olivias rolle var blitt mer begrenset.
Det var ikke en avgjørelse tatt av Mary Jackson, men snarere et kreativt valg av showets produsenter.