V polovině 18.století nechal hrabě Antonín Magnis v místě původní tvrze postavit barokní zámek. Jeho portál dodnes zdobí erb rodu Magnisů a Lichtenštejnů z Kastelkornu. Magnisové na Přestavlkách trvale nezůstali.
Roku 1863 koupil přestavlcký zámek olomoucký arcibiskup kardinál Bedřich Fuerstenberk.
Z této doby pochází ve východním křídle elipsovitá kaple Nanebevstoupení Páně. Dodnes se v ní každý měsíc slouží mše, které jsou ohlašovány v sousedním kostele ve Staré Vsi. R. 1878 přišlo v důsledku pruského školského zákona z r. 1875, jenž rušil klášterní vyučovací ústavy, z kláštera ze slezské Svídnice do Přestavlk u Přerova (farnost Stará Ves) 16 voršilek, jež se zde věnovaly školské činnosti. Zprvu jednotřídní škola se rozšířila na školu šestitřídní. Když nebyla úspěšná snaha kláštera zřídit v bývalém piaristickém klášteře v Lipníku měšťanskou školu, zahájila r.1908 v Přestavlkách i škola měšťanská, jež dosáhla práva veřejnosti.
Ke škole měšťanské byl připojen i jednoroční pokračovací obchodní kurs. U kláštera působila rovněž i mateřská škola, jež působila až do r. 1948. Na školách vyučovaly vedle řeholních sester též laičtí učitelé. V důsledku školského zákona č. 94/48 Sb. ze dne 1. dubna 1948 převzal majetek měšťanské školy stát. Řeholnice z Přestavlk přešly do jiných ústavů, v létě 1947 do Prahy a Liberce, především do Olomouce.
Poslední představená kláštera se stala představenou konventu v Praze.
Do kláštera přestavlckého přešli r. 1948 salesiáni, kteří zde zřídili filosofický studentát. Při likvidaci klášterů v r. 1950 byl zrušen i salesiánský klášter v Přestavlkách. Generální představená řádu sv. Voršily sídlila v Římě, odsud řídila všechny řádové provincie a viceprovincie. Viceprovincie českomoravská měla své sídlo v Praze.
Zámek sloužil jako klášter až do roku 1950, kdy byl znárodněn, a za tehdejšího komunistického režimu sloužil jen jako skladiště zdravotnického materiálu. Kolem zámeckých budov se nachází přírodní park (zámecká zahrada), který slouží ke kulturním účelům obce.
Při jižním zámeckém křídle stojí u bočního zámeckého vstupního portálu sochy sv. Jana Nepomuckého a sv. Vincence z druhé poloviny 18. století. Jsou dílem neznámého umělce.
Zámek je z jižní a východní strany obklopen bývalými hospodářskými budovami. Zámek, včetně zámecké zahrady je sice nemovitou kulturní památkou, je v soukromých rukách, ale z důvodu nedostatku financí však chátrá. Obcí a majitelem je pouze příležitostně využíván. Dnes je bez využití a na prodej.