Původní tvrz ze 14. stol. rozšířili Cimburkové v 15. stol. na hrad. Pernštejnové posílili především jeho obranný charakter. Za Jana Kropáče z Nevědomí byl pak v letech 1553-1572 pernštejnský hrad přestavěn na trojkřídlý zámek. V průběhu 16. stol. získal zámek dnešní podobu. Vedle zámeckého portálu bylo vystavěno i jednopatrové severní křídlo, které se svým velkolepě řešeným prostorem řadí k unikátům pozdní renesance na Moravě.