Dokument wizytacyjny z 1583r. mówił już o kościele częściowo z drewna, a częściowo z "muru pruskiego", co świadczy o tym, że już w XVI w. dokonano znacznej rozbudowy świątyni. W tym samym dokumencie zapisano, że kościół posiadał tylko jeden ołtarz, natomiast dokument wizytacyjny z 1649r. mówił już o czterech ołtarzach.

Przez kolejne lata - czas wojen szwedzkich - kościół był bardzo zaniedbywany, co przyniosło ogromne zniszczenie budynku. Mimochrzcielnica napraw kościół zupełnie zawalił się w roku 1723. Zadania zbudowania nowego kościoła podjął się biskup włocławski Krzysztof Szembek w roku 1726 za sumę 6000 florenów.

Nowy kościół w stylu barokowym był już cały murowany. W kościele znajdowały się trzy ołtarze: jeden główny - na cześć Ukrzyżowanego Pana Jezusa z obrazami Matki Bożej Bolesnej, św. Jana i św. Marii Magdaleny oraz dwa boczne: jeden Najświętszej Marii Panny, drugi św. św. Szymona i Judy.

W roku 1726 zakupiono do kościoła nową drewnianą chrzcielnicę, rzeźbioną ambonę i Jeden konfesjonał. Na podłogę położono deski. Ten ładny, stylowy kościół, po niespełna sześćdziesięciu latach wymagał, jak stwierdził wizytator Szaniawski-Rybiński, gruntownej renowacji. Kościół wyremontowano, a starania o niego były odtąd ciągłe i nieprzerwane. W roku 1833, dzięki staraniom proboszcza Kleista, uzyskano rzeźbiony, XVII wieczny ołtarz z kościoła św. Jakuba z Oliwy, który oddano protestantom. Dalsze zmiany i remonty w kościele chwaszczyńskim miały miejsce w latach 1840 - 1860, kiedy to wybudowano nową ścianę północną kościoła, dobudowano nową zakrystię, położono nowy dach i podłogę. W roku 1875 pozwolono na powiększenie kościoła, co uczyniono jeszcze tego samego roku. Dobudowano wówczas zachodnią partię kościoła.

W roku 1896 nastąpiła znowu gruntowa restauracja kościoła, połączona z rozszerzeniem nawy. W roku 1902 odnowiono ołtarze.

Niewiele wiadomo o wieży kościelnej. Zbudowana w 1786r. z drewna prawdopodobnie zawaliła się w roku 1809. W "Historii mojej parafii" ks. Sarnowski pisze, że przy restauracji kościoła w roku 1875 wieży nie odbudowano, postawiono tylko małą wieżyczkę, w której zawieszono sygnaturkę.

W czasie pierwszej wojny światowej kościół został obrabowany z dzwonów i piszczałek organowych.ołtarz Matki Bożej

W 1922r. na pamiątkę Misji św. postawiono przy północnej ścianie kościoła wielki drewniany krzyż.

Druga wojna światowa również odcisnęła swoje piętno na kościele w Chwaszczynie. Dwukrotne przejście frontu przez te tereny wiosną 1945 r. spowodowało ogromne zniszczenia zarówno samego kościoła, jak i jego wyposażenia. Wieża została pochylona wskutek postrzału pociskiem, uszkodzono dachówki, powybijano szyby, powstały dziury od bomb w ścianie i dachu nad zakrystią podłoga została wyrwana. Zniszczono zupełnie organy, większość ławek, zginęły dywany, obrazy. Dzwonnicę na zewnątrz zniszczono, już w 1942 r. Niemcy zabrali dzwony. Z kościoła zginęły kapy i ornaty.

Ludność chwaszczyńska w obawie przed całkowitym zniszczeniem cennych przedmiotów ukrywała je, narażając się tym samym na wielkie niebezpieczeństwo. Kielich i puszkę przechowała Helena Fopke, monstrancję ukryła organiścina w jednym z grobów. Ocalała jedna chorągiew - Sodalicji Mariańskiej.

l tak w 1952r. sprawiono dwa nowe dzwony, przeprowadzono remont dzwonnicy, założono gromochron na kościele. W kolejnych latach przeprowadzono renowację i odnowiono ołtarz główny, wyremontowano wieżę kościelną uzupełniono brakującą stację drogi krzyżowej (1953r.). W 1958r. przeprowadzono konserwację zabytkowego obrazu św. Jakuba. W 1977r. przeprowadzono adaptację prezbiterium kościoła do nowych wymagań liturgicznych. Kościół był kilkakrotnie malowany.

Z przybudówek do prezbiterium, od strony północnej, przylega zakrystia z pulpitowym dachem, a od strony południowej kruchta o dwuspadowym dachu. Do wnętrza kościoła prowadzą cztery wejścia: główne-- od strony zachodniej - o dwuskrzydłowych drzwiach; boczne - pod wieżą - skąd można wejść do nawy lub po kamiennych schodach na chór; drugie boczne - od strony południowej - przez kruchtę i trzecie boczne - od strony północnej - przez zakrystię.

Witraże w nawie są skomponowane z elementów symbolizujących sakramenty święte, a także jeden z godłem Stolicy Apostolskiej z napisem "Totus tuus" oraz ze stylizowanym godłem Polski. W jednym z okien prezbiterium jest witraż wyobrażający postać św. Judy Tadeusza, a w drugim - św. Szymona. Mniejsze okna znajdują się w kruchcie.

W prezbiterium centralne miejsce zajmuje główny ołtarz barokowy z początku XVIII w. Ołtarz jest drewniany, rzeźbiony, polichromowany. Ołtarz ma dwie kondygnacje. W pierwszej znajduje się obraz przedstawiający Matkę Bożą z Dzieciątkiem na lewej ręce i stojącego obok małego Jana Chrzciciela. W drugiej kondygnacji - obraz św. Marii Magdaleny, przedstawionej jako pokutnica w jaskini z książką i trupią czaszką. Po bokach umieszczone są dwie rzeźbione figury: po prawej - rzeźba w stroju cysterskiego opata z książką w prawej ręce przedstawia św. Bernarda, patrona bartników i napisem: "Ofiara parafii Chwaszczyno 1925".

Z czasem jednak coraz bardziej uroczyście obchodzono odpust patronki, którą obrała sobie parafia - św. Marii Magdaleny. Nazwano go odpustem brackim. Tradycja tego odpustu sięga XVII w., ale dopiero w 1906r. został on oficjalnie zatwierdzony przez Stolicę Apostolską. Odpust bracki związany jest z tradycją kultywowaną na Kaszubach i przypada na okres tuż przed żniwami, łącząc się niejako w sposób naturalny z modlitwami wiernych o pomyślne przeprowadzenie zbiorów. Obchodzony jest w dniu św. Marii Magdaleny.

Uroczyste obchodzenie odpustu patronów kościoła św. św. Szymona i Judy Tadeusza reaktywowano w latach siedemdziesiątych. Po dziś dzień to właśnie odpust przypadający w dniu święta Tadeusza - 28 października jest przeżywany w parafii bardzo uroczyście, a poprzedzają go rekolekcje, sam zaś dzień odpustowy honorowany jest przez parafian jako dzień wolny od pracy.

Wizerunki Apostołów Szymona i Judy Tadeusza można zobaczyć w witrażach w prezbiterium kościoła, natomiast obraz przedstawiający Marię Magdalenę znajduje się w drugiej kondygnacji ołtarza głównego.