Ova zgrada podignuta je zapravo kao porodična kuća beogradskog trgovca Joce M. Markovića 1885. godine, a projektovao ju je u stilu akademizma arhitekta Jovan Ilkić, tada mladi službenik u Ministarstvu građevina. Inače, Ilkićje projektovao još nekoliko velelepnih građevina u samom centru grada, a među značajnijim su Narodna skupština, hotel „Moskva“ i Oficirski dom u Kralja Milana (SKC).

Tri godine nakon izgradnje kuća je, kao odbitak od dugoročnog duga kragujevačke kompanije „Marko O. Marković“, ustupljena poznatom trgovcu, izvozniku šljiva i uvozniku soli Aleksi Krsmanoviću. On je živeo u njoj sve do smrti 1914. godine, a zgradu, kao i čitavo imanje, zaveštao je srpskom narodu, odnosno poklonio ju je državi kao zadužbinu. Uz odobrenje kralja Aleksandra zadužbina je i zvanično osnovana 1924. godine sa ciljem da se od njenog prihoda podižu domovi za siročad po celoj zemlji, s obzirom na to da ovaj trgovac i njegova žena nisu imali dece.

Ovo zdanje u centru grada opisano je jednom kao „mali dvorac neobaroka i jedan od najlepših spomenika ove vrste u Srbiji“. U tom „dvorcu“ 1. decembra 1918. godine svečano je proglašeno ujedinjenje Srba, Hrvata i Slovenaca u zajedničku državu Kraljevinu SHS. Tom prilikom ovde se uselio regent, kasnije kralj, Aleksandar I Karađorđevići tu mu je bilo sedište naredne četiri godine. Naime, gradski dvorovi tada su bili oštećeni u Prvom svetskom ratu i nisu mogli da se koriste, pa je za vreme njihove popravke za tu namenu služila kuća Alekse Krsmanovića. Nakon njegovog iseljenja do danas, zgrada je promenila nekoliko namena.

U godinama posle toga prostorije u ovom zdanju koristili su Autoklub, preduzeće za prikazivanje filmova Kleridžes, a u suterenu Mahmud Safikjurdli držao je radionicu i prodavnicu persijskih, smirenskih i kavkaskih tepiha. Od 1934. pa do Drugog svetskog rata ovde je bio smešten i Savez sokola Kraljevine Jugoslavije. Za vreme okupacije, međutim, objekat je služio kao luksuzna kantina osoblja nemačke uprave grada, da bi potom bio nacionalizovan i u njega smešten Omladinski dom Prvog rejona Beograda. Ipak, nakon rata zgrada je bila najviše poznata po tome što se u njoj tri decenije nalazio Protokol Državnog sekretarijata za inostrane poslove Socijalističke Federativne Republike Jugoslavije i Diplomatski klub. Upravo iz tog razloga, ova građevina je nazivana „Zgrada protokola“. Godine 1979. Protokol je iseljen sa ovog mesta.

Kuća Krsmanovića proglašena je za spomenik kulture i najveća obnova, adaptacija i restauracija na njoj izvršena je 1987. godine. Tada je suteren uređen za Klub privrednika, potkrovlje za banku, dok je prizemlje namenjeno stalnoj postavci izložbe. Danas se u njoj nalaze i sedišta izvesnih kompanija.