Le château de Vorbourg fut mentionné pour la première fois au 10ème siècle. Différents comtes et même l’État français comptent parmi ses possesseurs. La ville de Delémont acheta l'ensemble en 1822. Il appartient aujourd’hui à la commune. Un château supérieur fut sans doute détruit par le tremblement de terre de 1356. Le château inférieur avec la chapelle fut construit entre 1150 et 1350. Endommagé par le tremblement de terre, il fut reconstruit en 1365. Après sa destruction durant la guerre des Souabes de 1499, il fut définitivement abandonné au cours du 16ème siècle.

Depuis le 17ème siècle, la chapelle Notre-Dame-du-Vorbourg jouit d’une grande popularité dans le Jura en tant que lieu de pèlerinage consacré à la Vierge Marie. Le chemin débute au Mexique, d’où bifurque aussi le chemin de croix vers la chapelle. Une allée de plus de 300 mètres traverse le champ de Sous la Côte en un léger virage nord-est. La largeur du chemin est délimitée par des arbres et atteint trois à trois mètres cinquante. Dans la partie forestière qui suit, on reconnaît clairement les cailloux utilisés. À présent, le chemin se rétrécit et devient plus abrupt, des talus rocheux délimitent bientôt le côté ouest. Il grimpe les ruines pour se poursuivre en lacets partiellement taillés dans les blocs de roche jusqu’à la chapelle. Une vue spectaculaire s’ouvre alors de la butte rocheuse.