Η ιστορία του είναι πολύ ενδιαφέρουσα και αποδεικνύει τα περίεργα παιχνίδια της τύχης. Το Σαρόγλειο Μέγαρο, στη συμβολή των οδών Βασιλίσσης Σοφίας και Ρηγίλλης, είναι κτίσμα «νεομπαρόκ» της δεκαετίας του 1920 σε σχέδια του γνωστού αρχιτέκτονα Αλέξανδρου Νικολούδη (Γαλλική Σχολή Καλών Τεχνών, 1928-1932), στατική μελέτη του μηχανικού Αχιλλέα Καρρά, για δε την επίβλεψη του έργου ο αρχιτέκτονας-μηχανικός Γάστωνας Ζιλλιερός.
Στην ίδια τοποθεσία, που τότε λειτουργούσαν οι στρατώνες του Πυροβολικού (1912), ο Νικολούδης είχε κερδίσει έναν διαγωνισμό για τον σχεδιασμό του Δικαστικού Μεγάρου, ο οποίος, τελικά, ματαιώθηκε. Μια δεκαετία αργότερα, στο ίδιο σημείο, ο Νικολούδης κλήθηκε να σχεδιάσει και να κατασκευάσει σε ρυθμό νεομπαρόκ το Σαρόγλειο Μέγαρο, έπειτα από τη μετα-θάνατον δωρεά του αξιωματικού του Πυροβολικού Πέτρου Σαρόγλου.
Στο επιβλητικό και εντυπωσιακό αυτό κτίριο, το 1932 στεγάστηκε η Λέσχη Αξιωματικών της Φρουράς Αθηνών, ενώ σήμερα φιλοξενεί τη Λέσχη Αξιωματικών Ενόπλων Δυνάμεων.
Το 1992 η εξωτερική όψη του κτιρίου ανακαινίστηκε από το ΓΕΝ, ενώ το 1999 υπέστη σοβαρές ζημιές, συνέπεια του μεγάλου σεισμού της 7ης Σεπτεμβρίου στην Αθήνα, καθώς χρειάστηκαν 5 χρόνια για την αποκατάσταση και τη ριζική ανακαίνισή του. Το 2004 άνοιξε ξανά τις πόρτες του και συνέχισε να λειτουργεί ως Λέσχη αξιωματικών. Ο Σάρογλος, λάτρης της τέχνης, κληροδότησε στη ΛΑΕΔ σειρά έργων ζωγραφικής που αποτελείται από 86 πίνακες σπουδαίων Ελλήνων και ξένων ζωγράφων, όπως του Λύτρα, του Γύζη, του Προσαλέντη κ.ά. Επίσης φιλοξενείται πολύτιμη συλλογή όπλων που κοσμούν το Μουσείο αλλά και διάφορους χώρους της Λέσχης.
Εκτός από μουσείο, το Σαρόγλειο Μέγαρο περιλαμβάνει ακόμη αίθουσες συνεδρίων, εκδηλώσεων, ψυχαγωγίας, καθώς και βιβλιοθήκη, αναγνωστήριο, εστιατόριο, καφέ, ζαχαροπλαστείο και κουρείο ώστε να εξυπηρετεί εν ενεργεία και απόστρατους αξιωματικούς των Ενόπλων Δυνάμεων.