W skład zamku wchodzi zamek właściwy i przedzamcze południowe. Niestety podzamcze północne, z młynem, nie dotrwało do naszych czasów. Twierdza budowana ponad 50 lat powstała na planie kwadratu, z krużgankowym dziedzińcem i potężną wieżą.

Do roku 1795 rezydowali tu jako biskupi wybitni przedstawiciele kultury i nauki polskiej (między innymi Ignacy Krasicki). Przez kilka lat mieszkał tu również Mikołaj Kopernik, gdzie pracował nad swoją teorią heliocentryczną.

Aktualnie na zamku mieści się Muzeum Warmińskie. Zwiedzającym udostępniono m.in.: piwnice, zbrojownię, apartamenty biskupie, refektarz, kaplicę zamkową oraz kapitularz. Warto
również zobaczyć piękny dziedziniec - otoczony dwukondygnacyjnymi krużgankami, które podobno jako jedyne w Polsce zachowały się w stanie nienaruszonym.