Okulumuzun ilk binası, bugünkü Yüksek İhtisas Hastanesi'nin bulunduğu saha üzerine kurulmuş olup Ankara halkı arasında "Taş Mektep" ismiyle tanınmıştır.
Rumi 1302 yılında zamanın Ankara Valisi Sırrı Bey tarafından temeli atılan okul binası, Rumi 1305 yılında tamamlanmıştır. Rumi 1302, Miladi 1886 yılında beş yıllık İDADİ olarak eğitim ve öğretime başlayan okul 1908'de de SULTANİ hâline getirilmiştir.
Okulumuz, Atatürk tarafından ilk defa 30 Aralık 1919'da ziyaret edilmiştir. 1921 senesinde Milli Mücadele'nin o günkü şartları gereğince diğer resmi dairelerle birlikte Kayseri'ye nakledilen okul, bir yıl sonra 1922'de tekrar Ankara'ya alınarak eski binasında hizmetine devam etmiştir. Milli Mücadele'nin hüküm sürdüğü yıllarda okulun öğretmen ve öğrencileri cephelerde savaşlara katılmış, gazilik ve şehitlik mertebesine yükselmişlerdir.
Vatan müdafaasında gösterdikleri üstün gayretleri ve vatanperver çalışmaları sebebiyle de okulumuza Milli Mücadele sonunda bizzat Atatürk tarafından ay yıldızlı sancağımız hediye edilmiş, günümüze kadar itina ile muhafaza edilen Atatürk'ün bu kutsal emaneti okulumuzun en büyük gurur ve şeref kaynağı olmuştur. (Bu Sancak okulumuz bahçesinde bulunan 75. Yıl Eğitim Müzesi'nde sergilenmektedir.)
Okulumuzun adı, 3 Mart 1924'te kabul edilen Tevhid-i Tedrisat Kanunu'nun yürürlüğe girmesinden sonra ANKARA ERKEK LİSESİ olarak değiştirilmiştir. Atatürk okulumuzu ziyaret ettiği bir zamanda okulumuzda oymak kurulmasını istemiş ve adının GAZİ OYMAĞI olmasına izin vermiştir. ( Bu değerli flama okulumuz bahçesindeki 75. Yıl Eğitim Müzesi'nde sergilenmektedir.) Ulu önder Gazi Mustafa Kemal Atatürk 28 Haziran 1933´te okulumuzu şereflendirerek Tarih - Coğrafya - Yurt Bilgisi imtihanlarını izlemiş ve 6/F sınıfının not cetvelini imzalamıştır.
Okulumuz yeni binasının halen inşaat halinde olduğu, 1938 yılında zamanın Orta Tedrisat Genel Müdürü H. Avni Yukaryuç, Ankara Maarif Müdürü Salim Atalık ve Okul Müdürü İhsan Üngüt'ten oluşan bir heyet okulumuzun isminin ATATÜRK LİSESİ olması hususunu Çankaya Cumhurbaşkanlığı Köşkü'nde Ulu Önder Atatürk'e arz ve teklif etmiş ve Atatürk'ün izniyle okulumuzun ismi ANKARA ATATÜRK LİSESİ olmuştur.
Okulumuz 10 Ekim 1940 tarihinde de yeni yapılan bugünkü binasına taşınmıştır. İlk önce bir bloktan oluşan okulumuza zamanla iki blok daha eklenmiş ayrıca toplantı salonu ve kapalı spor salonları yapılmıştır.
1960 - 1970 yılları arasında okulumuzun bazı bölümleri Ankara Yüksek Öğretmen Okulu'na tahsis edilmiş, yatakhane, yemekhane ve etüt hizmetleri karşılanmıştır. Yine bu yıllardan itibaren okulumuz öğrencileri için pansiyon (yatılılık) açılmış, ancak daha ileriki yıllarda ortaya çıkan sıkıntılar sebebiyle 1987 - 1988 öğretim 15 yılının sonunda pansiyon
hizmetleri kaldırılmıştır.
Okulumuz 1974-1975 öğretim yılından itibaren kız-erkek karma eğitime geçmiştir. 1991 - 1992 öğretim yılından itibaren okulumuz bazı derslerin öğretimini yabancı dille yapan ANADOLU LİSESİ statüsüne kavuşturulmuştur. 2014 yılında okulumuz Proje Okul statüsüne alınmıştır.