Valckendorferne havde Glorup fra 1400-tallet til 1661, da de blev tvunget til at sælge besiddelsen efter Svenskekrigenes ødelæggelser. I de næste hundrede år havde Glorup en noget omtumlet skæbne, en række slægter ejede gården, men boede der sjældent. I 1723 arvede geheimeråd Chr. Ludvig Scheel v. Plessen Glorup og i årene 1743-1744 lod han anlægget ombygge af den franskfødte arkitekt Philip de Lange (1700-1766). Der blev revet tårne ned, et stokværk forsvandt og et prægtigt mansardtag blev lagt over alle fire fløje. Huset blev pudset og kalket. Barokken var nu tidens formsprog.
Efter v. Plessens død blev Glorup i 1762 købt af Grev Adam Gottlob Moltke til Bregentved og samtidig købte hans kone nabogodset Rygaard, pris 120.000 rigsdaler. Hun havde vundet 60.000 i det daværende statslotteri. Moltke var en interesseret og dygtig landmand og han fik bragt godset på fode igen, stærkt hjulpet af den prisstigning på landbrugsvarer i Europa, der var begyndt i 1750erne.
Moltke var stolt af sin nye ejendom, men huset var allerede gammeldags, så han lod N.H. Jardin, tidens førende arkitekt, og dennes bygningstegner Zuber se på Glorup med henblik på en modernisering. De fire lave fløje dækket af det vældige mansardtag med kviste bevaredes stort set uændret. Vestfacaden i den indre gård fik de tre midterste fag forhøjet med en etage og hovedporten fik en ny overbygning, der krones af en lanterne. På attikaen er der en indskrift, der siger, at A.G. Moltke i 1765 lod bygningen forny. Murene var stadig holdt i hvidt, mens vinduesindramninger, gesimser og reliefsøjler delvis blev holdt i gult. Der kom en stor fritrappe op til hovedindgangen flankeret af 2 hunde støbt i bronze og i nord – og sydaksen af anlægget blev der anbragt trapper, som i dag kan ses fra alléen.
