Do dnia dzisiejszego, toczą się spory między historykami na temat wczesnych początków zabudowy typu stolicznego w słupskim grodzie. Jedni uważają, że kasztelania znajdowała się po prawej stronie rzeki Słupi (na miejscu XIX kościoła św. Ottona), drudzy zaś lokują ją w miejscu dawnego klasztoru Dominikanów, a więc w miejscu istniejącego obecni zamku. Pewne jest natomiast, że gród istniał w IX wieku i pełnił swoje obowiązki aż do XIV wieku, kiedy to w 1265 roku, na drugim brzegu zostało założone miasto lokacyjne na prawie niemieckim. Około 1392 roku, książę Warcisław VII rozpoczął budowę swojej rezydencji, koło bramy Młyńskiej w obrębie murów miejskich.

Nie jest niestety znany, układ przestrzenny tej budowli, ale można się spodziewać, że był to budynek dwuczłonowy. Około 1507 roku, książę Bogusław X zbudował dla siebie nową siedzibę. Była to właściwie jego rezydencja i od tego czasu nazywana była zamkiem. Budynek został ustawiony w ten sposób, że jego południowa fasada znajdowała się na linii murów miejskich, zaś od strony miasta, dostawiono do jego bryły wysoką wieże, która była później wielokrotnie przebudowywana. Siedziba książęca została wzniesiona na planie prostokąta 16,5 x 35 m, budynek był podpiwniczony i dwukondygnacyjny.

Jak można wnioskować, z ówczesnego planu tej części miasta, podwórze zamkowe wraz z kaplicą oraz innymi budynkami gospodarczymi zajmowało przestrzeń w południowej części miasta i było od niego oddzielone murem. Około roku 1580÷1587 na zlecenie księcia Jana Fryderyka, zamek przebudowali architekci i kamieniarze włoscy (zatrudnieni przy budowie renesansowego zamku w Szczecinie), m.in. Wilhelm Zachariasz Italus.

Budynek zamku został podwyższony o jedną kondygnację, w wnętrzach umieszczono sklepienia i stropy, w jego wieży umieszczono schody, zaś zamkowe posadzki wyłożono marmurem. Z boku wieży, po stronie wschodniej, znajdowała się, niewielka loggia. Gładkie ściany zamku, wschodnią i zachodnią ozdobiły wykusze, natomiast ścianę południową - niewielkie ryzality. Naroża budynku były boniowane. Całość przykrywał czterospadowy dach, na którego pokrycie dachówkę sprowadzono ze Sławna.

Wewnętrzne ściany zamku zostały wyłożone kurdybanem, zaś jego wnętrza ozdabiały liczne dzieła sztuki, przewiezione później do Szczecina , a następnie w 1731 roku do Berlina. Zamek uległ dewastacji w latach 1815÷1821, kiedy to, został zamieniony przez pruskie władze na magazyn zbożowy oraz soli. W początkach XIX wieku zamek uległ znacznym przeróbkom. Po uderzeniu pioruna w 1815 roku, rozebrano częściowo wieżę, nadbudowano czwartą, niską kondygnację, zamurowano duże okna - tworząc w ich miejsce, liczne mniejsze. Wnętrze zamku całkowicie przekształcono, burząc ściany oraz sklepienia, tworząc kondygnację wsparte na drewnianych filarach.

Tuż przed wojną, w pomieszczeniach zamku przechowywano m.in. dekorację teatralne. Podczas II wojny światowej zamek został niemal całkowicie zniszczony. Po wojnie w zamku mieściła się wytwórnia lin i siatek. W 1951 roku przeprowadzono pierwsze prace konserwacyjne, chroniące zamek przed całkowitą ruiną. W następnych latach 1959÷1965 zamek został odbudowany do zbliżonej formy architektonicznie, jaką miał w XVI wieku. Od roku 1965 w zamku znajduje się Muzeum Pomorza Środkowego.