Już 12 lat po II wojnie światowej, w 1957 roku, zjazd założycielski Zrzeszenia Kaszubskiego w Bytowie postulował utworzenie na zamku muzeum kaszubskiego. Przez ponad 10 lat trwało pozyskiwanie zabytków, przygotowywanie pomieszczeń ekspozycyjnych i wreszcie 1 stycznia 1972 roku muzeum rozpoczęło działalność.
Na przestrzeni 50 lat kolekcja eksponatów stale się powiększała, otwierano też nowe oddziały, takie jak skansen budownictwa ludowego w Sominach czy Muzeum Szkoły Polskiej w Płotowie. Od 1999 r. organizatorem muzeum jest samorząd województwa pomorskiego.
Tym, co wyróżnia placówkę na tle innych pomorskich muzeów jest niewątpliwie stała ekspozycja prac Józefa Chełmowskiego „Józef Chełmowski. Portret artysty i człowieka”. Liczy ona około 600 pamiątek i prac artysty. Została otwarta w 2020 r. na poddaszu Domów Wdów.
Podczas jubileuszowych uroczystości uhonorowani zostali pracownicy muzeum, a Mieczysław Struk i przewodniczący Sejmiku Województwa Pomorskiego, Jan Kleinszmidt podarowali bytowskiemu muzeum dwa obrazy malarki Beaty Ewy Białeckiej, wielokrotnej stypendystki marszałka.
