År 1790 överlät Gustav III ett landstycke här till Spaniens envoyé Ignacio Maria del Coral y Aquirre. Coral kallade stället “Manilla” (efter Filippinernas huvudstad som var spansk koloni), och han lät uppföra ett antal påkostade byggnader efter ritningar av Louis Jean Desprez. Desprez var samtidigt sysselsatt med att rita Gustav III:s Stora Haga slott. Den engelske envoyén Robert Liston uppförde samtidigt Liston Hill cirka 500 meter västerut.
Coral hämtades hem till Spanien strax efter Gustav III:s död 1792 och de storstilade byggnadsplanerna blev bara delvis utförda. Området förföll under en period, och delades sedan in i tre delar: Övre Manilla, Nedre Manilla och Manhem. Nedre Manilla övertogs av läkaren, professor A. J. Hagström i början av 1800-talet. Han byggde om de kvarstående 1700-talsbyggnaderna (stall, vagnshus, kruthus och kuskbostad) till sommarbostad för familjen Hagströmer.
Anders Petter Söderberg köpte Manilla på 1800-talet och lät sin dotter Charlotta med maken Robert von Kraemer bo här under en period. Deras dotter Lotten von Kraemer är född här.
År 1909 förvärvades fastigheten av förläggaren Karl Otto Bonnier med familj. Arkitekten Ragnar Östberg fick i uppdrag att bygga en stor villa på platsen och valde då att bygga ihop den med det mindre gulputsade kruthus i sten från 1790-talet som redan fanns på tomten och var en del i Stockholms fasta försvar.
1961 invigdes utbyggnaden Galleriet, ritat av Birger "Codde" Borgström, med en utställning av Eva Bonniers måleri. Byggnaden har under många år använts av Bonniers bokförlag för författarträffar. Nedre Manilla är alltjämt i Bonnierfamiljens ägo. Kruthuset har efter Karl Ottos tid använts som privatbostad för Tor och Johan Bonniers familjer, och numer för Carl-Johan Bonnier, medan Östbergs tillbyggnad används för representation och familjens konstgalleri.