Окончил Ленинградский Институт театра, музыки и кинематографии (ЛГИТМиК), курс В. Меркурьева в 1969 году. Учился на одном курсе с Мариной Неёловой, в которую был страстно и безответно влюблён. На первую картину "Пять дней отдыха" его привёл Ролан Быков. Они познакомились на "Ленфильме", где Олег должен был сниматься в фильме "Приключения Кроша", но не сложилось... Олег был в то время студентом второго курса ЛГИТМИКа, считался одним из лучших студентов, ходил в любимчиках... Служил в Театре на Литейном. Режиссёр Кама Гинкас, который тогда только начинал, приглашал Ефремова в свои первые спектакли. Но востребованность в кино была сумасшедшей. Из театра пришлось уйти. Ефремов вошёл в штат Ленинградской студии киноактёра. Много снимался на "Мосфильме". Дружил с Александром Кайдановским. Тогда же на "Мосфильме" познакомился со своим известным тёзкой. Чтобы поклонники двух Ефремовых не путались, кто есть кто, про второго Олега на афишах в скобках писали: "Ленинград". Когда Андрей Тарковский набирал режиссёрский курс, Олег подал сценарную заявку. Тарковскому понравилось, он брал Ефремова на свой курс. Но, по словам актёра, "обстоятельства взяли за горло, нужно было сниматься в кино, кормить детей".