Il centro storico è dominato dal palazzo vescovile, antico maniero cittadino, sorto da un'antica fortificazione romana. La sua storia risale all'età della pietra, in cui le lame venivano ricavate dall'ossidiana. Nel punto più alto della fortezza si erge la cattedrale in stile romanico. All'epoca delle Crociate, alcuni costruttori lombardi v'innalzarono una basilica arcaica e spigolosa, con capitelli figurativi e colonne raffiguranti gli Apostoli a grandezza naturale, che sembrano sprigionarsi dalla pietra.

La cattedrale è molto più di un edificio romanico, poiché nasconde affreschi e altari di molte epoche, tra cui il più ricco altare tardo-gotico della Svizzera. La cattedrale è statta riaperta in autunno 2007 dopo molti anni di restauro. Il suo tesoro comprende oggetti di culto, dell'epoca tardo-antica e medievale, in oro, argento e avorio, testimoni della lunga tradizione, tramandata per ben 1600 anni, della più antica e ancora oggi abitata residenza vescovile a nord delle Alpi.