Zámek, vybudovaný v letech 1545-1546 Kryštofem z Gendorfu, patří k nejranějším světským stavbám renesančního stavitelství v Čechách. Neznámý stavitel vycházel ze schématu italského kastelu, tj. malé pevnosti nebo tvrze s nárožními věžemi, kde čtyři křídla s obytnými místnostmi obklopovala nádvoří uprostřed. U vrchlabského zámku je nádvoří nahrazeno vstupní halou. Dostavby zámku se účastnil pravděpodobně i významný italský stavitel Carlo Valmadi. Původně jej obklopoval 2,5 m široký pás zeleně a za ním vodní příkop 12 m široký, který překračovaly tři mosty. Zámek prošel celou řadou stavebních úprav, nejvíce v 2. polovině 19. století a na počátku 20. století. Budovy přiléhající k zámku sloužily dříve k hospodářským účelům. Zámek je dnes sídlem Městského úřadu. Návštěvníci mohou shlédnout pouze vstupní halu s dveřmi zdobenými intarzovanými motivy a obrazy čtyř krkonošských medvědů ulovených na vrchlabském panství v letech 1665, 1693, 1701, 1726. Nejvzácnější památkou zámku jsou renesanční kachlová kamna v bývalém tzv. rytířském sále, jediný předmět, který se dochoval z původního zařízení. Vynikají nejen svou velikostí, ale i výzdobou - představují jedno z prvních užití majoliky v českých zemích. Kachle obsahují biblické náměty a letopočet 1545.