С 2060 года мощь Дол Гулдура начала возрастать, и Мудрые стали опасаться, что Саурон вернулся и вновь обрел телесный облик. В 2063 году маг Гэндальф Серый пришёл в Дол Гулдур, и Саурон отступил, скрывшись на Востоке. После этого наступил Бдительный Мир.
В 2951 году Саурон открыто заявил о себе в Мордоре и стал восстанавливать Барад-Дур. Вместо Саурона в Дол Гулдуре остались трое назгул, во главе с Кхамулом.
