1457 war ein schicksalhaftes Jahr für unsere Stadt. Damals wurde Culm durch eine List vom Anführer eines Söldnerheers des Ordens, vom Tschechen Bernard Szumborski (im Deutschen als Bernhard von Zinneberg bekannt), eingenommen. Er übte bis zu seinem Tod im Jahr 1470 eine harte und rücksichtslose Herrschaft aus. Danach verblieb Culm noch weitere neun Jahre in den Händen der Söldner. Während dieses Zeitraums verfiel die Stadt und verlor vollkommen ihre Bedeutung, unter anderem war sie nicht mehr Sitz des Obergerichts für die nach Culmer Recht gegründeten Städte. Zerstört wurden die Vorstädte und die Weinberge. Trotz dieser Schwierigkeiten gelang es, im Jahr 1473 ein studium particulare zu gründen, das von den aus den Niederlanden stammenden Brüdern des gemeinsamen Lebens geführt wurde. Es wird angenommen, dass Nicolaus Copernicus diese Einrichtung besucht hat.
1505 wurde Culm vom polnischen König A. Jagiellończyk den Culmer Bischöfen als neuen Eigentümern geschenkt. In den erhalten gebliebenen städtischen Dokumenten kann man häufig sich auf die Bischöfe beziehende Beschwerden von Bürgern finden, weil diese den Bürgern zusätzliche Abgaben auferlegten sowie die Rechte der städtischen Selbstverwaltung beschränkten. Letztendlich festigte sich die Position Culms als kleinere und von der Geistlichkeit abhängigen Stadt.
Die Wende des 16. zum 17. Jahrhundert brachte den preußischen Städten einen wirtschaftlichen Aufschwung. Ihm ist es zu verdanken, dass das Rathaus im Stil der Renaissance umgebaut und um den Turm mit Uhr bereichert wurde. In dieser Zeit wurden viele Renaissancebürgerhäuser errichtet und an das Graudenzer Tor die Kapelle der Leidenden Mutter Gottes angebaut. 1563 gestattete König Zygmunt August, die Akzise für die Instandsetzung der Stadtmauer zu verwenden (ihre endgültige Gestalt können wir bis heute bewundern). Umgebaut wurde auch die Kirche der Benediktinerinnen.
Mitte des 16. Jahrhunderts ging die Reformation nicht spurlos an Culm vorbei. Zur Verbreitung des Luthertums trug Jan Hoppe, der Rektor des humanistischen Gymnasiums, bei. Obwohl dieses Gymnasium über gute Lehrer verfügte, wurde es geschlossen, als der Rektor der Schule vom Culmer Bischof entfernt wurde. In späteren Jahren befahl ein weiterer Culmer Bischof den Bürgern, sich entweder zum Katholizismus zu bekennen oder die Stadt zu verlassen. Da die protestantische Gemeinde hauptsächlich aus Deutschen bestand, wurde Culm nach ihrem Wegzug zu einer der am stärksten polonisierten Städte im Culmer Land.
Im 17. Jahrhundert verwandelte sich Culm infolge der polnisch-schwedischen Kriege und auch häufiger Epidemien in eine Ruine. Um den Bürgern das Leben zu erleichtern, bestätigte König Jan II. Sobieski alle bisherigen Privilege der Stadt und Bischof Jan Malachowski gestattete die Wiederansiedlung von Protestanten. Eine schreckliche Seuche während des Nordischen Kriegs führte zu einer Dezimierung der Stadtbevölkerung. Eine Plage waren auch die Durchmärsche polnischer und ausländischer Heere sowie die von ihnen geforderten Abgaben. Besonders der Siebenjährige Krieg hatte einen negativen Einfluss auf die Stadt.
Ein in gewisser Weise tröstender Umstand in diesen traurigen Zeiten war die Entstehung der sogenannten Culmer Akademie im Jahr 1692. In ihr unterrichteten Krakauer Professoren (unter anderem Grzegorz Gerwazy Gorczycki). Die Akademie war organisatorisch die 31. "Kolonie" der Krakauer Universität, jedoch zwang die preußische Verwaltung 1779 die Professoren, Culm zu verlassen. Obwohl die Akademie bis 1818 existierte, besaß sie schon nicht mehr dieselbe Bedeutung wie zu ihrer Blütezeit.