Szkoła ta została założona jako kolegium jezuickie w XVII wieku. Jezuici pojawili się w Wałczu na prośbę starosty Jana Gostomskiego w 1618 roku, aby wspomóc go w walce z protestantyzmem, prowadząc prace misyjne i nauczycielsko – pedagogiczne. Początkowo działało w mieście dwóch zakonników, o. Jan i o. Wawrzyniec (Jan Szajer i Jan Groszowicz), zamieszkując na tutejszej plebanii. Po roku wybudowali sobie własny, niewielki drewniany dom mieszkalny, a w roku 1629 murowaną kaplicę. Gdy pożar po raz drugi zniszczył ich rezydencję, przeprowadzili się na Górę Mniszą, budując tam skromną rezydencję i szkołę, która funkcjonowała od 1662 roku. Uczniów szybko przybywało, więc zdecydowano się na budowę większego budynku, tym razem na Górce Burmistrzowskiej. Tu w roku 1672 rozpoczęto budowę obszernej rezydencji z budynkiem szkolnym i sporym zapleczem gospodarczym. Budowa trwała dwa lata, ale wkrótce okazało się, że potrzeba więcej szkolnych pomieszczeń. Podjęto więc starania o nowy budynek, który wzniesiono w 1703 roku z pomocą finansową opata zakonu cystersów w Oliwie. Spore datki spłynęły też ze strony miejscowej szlachty. Budynek ten dotrwał do 1798 roku, jednak mimo licznych prac remontowych nie zapewniał on bezpieczeństwa uczniom. Wówczas to Józef Dalski, proboszcz wałecki i prefekt kolegium (wówczas już noszącego nazwę gimnazjum) rozpoczął budowę nowego gmachu szkolnego. W roku 1805 zakończono prace budowlane, które kosztowały w sumie 10.439 talarów. do użytku było 12 pomieszczeń i kaplica. Był to budynek istniejący do dziś – budowla murowana na planie prostokąta, z wypalanej cegły, w stylu klasycystycznym, dwukondygnacyjna. W 1805 roku dyrektorem gimnazjum został Antoni Perzyński, który kierował nim do 1823 roku. Za jego administracji założono obszerny ogród przyszkolny i zaprojektowano szkolną aulę, przygotowując jej budowę. W 1812 roku w budynku gimnazjum wojska francuskie urządziły lazaret, czyli szpital polowy. Później budynek służył jako areszt dla 900 rosyjskich żołnierzy, wziętych do niewoli. W 1860 roku zbudowano dla woźnego dom i przylegającą do tego budynku stajnię, w roku 1872 salę gimnastyczną nad rzeczką Młynówką na terenie ówczesnych ogrodów nauczycielskich, w 1879 dom dla dyrektora szkoły, zaś w latach 1881/82 do budynku głównego dobudowano parterową aulę.
W latach 1908-1909 przeprowadzono kapitalny remont i rozbudowę. Nad wejściem głównym dobudowano sygnaturkę, rozebrano starą, parterową aulę a na jej miejscu powstało wschodnie skrzydło boczne, mieszczące na piętrze aulę z neobarokowym, stiukowym wystrojem wnętrz (portretowe medaliony filozofów starożytnych, humanistów i ideologów protestantyzmu, poetów i myślicieli romantyzmu niemieckiego). Na parterze tej części szkoły powstały dodatkowe pomieszczenia klasowe. W latach 1959-1964 powstało skrzydło zachodnie (rozpoczęto budowę w latach 30. XX w.).
Okresem największej świetności tej szkoły był przełom XVII i XVIII w., wówczas jednocześnie pobierało nauki ponad 200 uczniów. O wysokim poziomie nauczania świadczy fakt, że to właśnie gimnazjum wybierała nawet protestancka młodzież z Wielkopolski, Brandenburgii i Pomorza. Wtedy szkoła zyskała dumne miano „Aten Wałeckich”.
Od początku istnienia, przez cały czas była to szkoła męska, dopiero w okresie II wojny światowej przeniesiono tutaj szkołę żeńską z ul. Bydgoskiej (tam zorganizowano szpital polowy) i uczennice z narażonego na bombardowania alianckie Wattenscheid w Zagłębiu Ruhry. Po wojnie, w lipcu 1945 r. w budynku szkoły zorganizowano gimnazjum i liceum. Liceum to funkcjonuje do tej pory nosząc imię Kazimierza Wielkiego. W 1977 r. zorganizowano tu również Szkoła Mistrzostwa Sportowego o profilu wioślarstwo i kajakarstwo kobiet.
Szczególnie warta uwagi jest aula, bogato zdobiona m.in. portretami ściennymi przedstawiającymi ważniejsze postacie nauki i kultury europejskiego Oświecenia, wykonane w III ćw. XIX w.