Il 24 novembre 1921, Oliver sposa in seconde nozze l’attrice Myrtle Lee Reeves (1897-1983). La coppia divorzia il 18 maggio 1937.