Mektep, Selim Ağa Kütüphanesi´nin sağ tarafında ve Selamsız Caddesi üzerindedir. Mektebin 1782 tarihinde kütüphane ile beraber yaptırılmış olduğu avlu kapısı üzerindeki kitabesinden anlaşılmaktadır.
Selim Ağa, Sıbyan Mektebi´ni 1937 tarihinde yıktırarak halkın Taş Mektep dediği şimdiki 23. İlkokul binası olarak yaptırılmış ve daha sınra Hacı Selim Ağa ilköğretim Okulu adını almıştır.
2013-2014 Eğitim Öğretim yılında Milli Eğitim Bakanlığı Özel Eğitim ve Rehberlik Hizmetleri Genel Müdürlüğü´ne bağlı Hacı Selimağa Özel Eğitim Uygulama Okulu olarak (ağır ve orta düzeyde zihinsel engelliler okulu) 17.02.2014 tarihinde eğitim öğretime başlamıştır.