Η ιστορία του είναι πολύ ενδιαφέρουσα και αποδεικνύει τα περίεργα παιχνίδια της τύχης. Το Σαρόγλειο Μέγαρο, στη συμβολή των οδών Βασιλίσσης Σοφίας και Ρηγίλλης, είναι κτίσμα της δεκαετίας του 1920 σε σχέδια του γνωστού αρχιτέκτονα Αλέξανδρου Νικολούδη (Γαλλική Σχολή Καλών Τεχνών, 1928-1932).

Στην ίδια τοποθεσία, που τότε λειτουργούσαν οι στρατώνες του Πυροβολικού (1912), ο Νικολούδης είχε κερδίσει ένα διαγωνισμό για το σχεδιασμό του Δικαστικού Μεγάρου ο οποίος τελικά, ματαιώθηκε. Μια δεκαετία αργότερα, στο ίδιο σημείο, ο Νικολούδης κλήθηκε να σχεδιάσει και να κατασκευάσει σε ρυθμό νεομπαρόκ το Σαρόγλειο Μέγαρο, έπειτα από τη μετά θάνατον δωρεά του αξιωματικού του Πυροβολικού Πέτρου Σαρόγλου.

Στο επιβλητικό και εντυπωσιακό αυτό κτίριο, το 1932 στεγάστηκε η Λέσχη Αξιωματικών της Φρουράς Αθηνών ενώ σήμερα φιλοξενεί τη Λέσχη Αξιωματικών Ενόπλων Δυνάμεων.