Окончил Школу-студию МХАТ в 1949 г. и был приглашен в труппу Центрального детского театра, где за короткий срок сыграл более 20 ролей, среди которых Иван («Конек-горбунок»), Ковьель («Мещанин во дворянстве»), Костя Полетаев («Страницы жизни»), Алексей («В добрый час!»). Там же дебютировал как режиссер постановкой водевиля «Димка-невидимка» (1955).

Одновременно начал преподавать в Школе-студии МХАТ. В 1956 году, собрав вокруг себя студентов Школы-студии, своих ровесников и учеников (Г. Волчек, Л. Толмачева, Е. Евстигнеев, И. Кваша, О. Табаков, В. Сергачев), организовал «Студию молодых актеров» (впоследствии — Московский театр «Современник») и стал художественным руководителем театра.

В 1970 г. О.Н. Ефремов принял приглашение старшего поколения мхатовских актеров и стал главным режиссером МХАТ. За тридцать лет в Художественном театре он поставил более 40 спектаклей и сам сыграл в 14 из них. Среди его работ — «Дульсинея Тобосская» А. Володина (роль Дона Луиса), «Медная бабушка» Л. Зорина (роль Пушкина), «Последние» М. Горького, «Сталевары» Г. Бокарева, «Утиная охота» А. Вампилова (роль Зилова), «Старый Новый год» и «Перламутровая Зинаида» (роль Аладьина) М. Рощина, «Заседание парткома» (роль Потапова) и «Наедине со всеми» (роль Голубева) А. Гельмана, «Так победим!» М. Шатрова, «Серебряная свадьба» А. Мишарина, «Горе от ума» А. Грибоедова, «Борис Годунов» А. Пушкина (заглавная роль). Поставил все крупнейшие пьесы А. Чехова: «Иванов» (1976), «Чайка» (1980), «Дядя Ваня» (1985), «Вишневый сад» (1989) и »Три сестры» (1997). О. Ефремов сыграл около 70 ролей в художественных и телефильмах. На протяжении полувека преподавал мастерство актера в Школе-студии МХАТ, выпустил несколько актерских и режиссерских курсов, был профессором и заведующим кафедрой мастерства актера.

О.Н. Ефремов был одним из создателей и Первым секретарем Правления Союза театральных деятелей СССР. Герой Социалистического труда, народный артист СССР, лауреат Государственных премий СССР, кавалер высших орденов СССР, Российской Федерации и иностранных государств.