Il castello di Vorbourg viene citato per la prima volta nel X secolo. Fra i suoi possessori figurano numerosi conti e anche lo Stato francese. Nel 1822 il complesso fu acquistato dalla città di Delsberg, mentre oggi appartiene alla comunità dei cittadini. Il castello superiore fu presumibilmente distrutto da un terremoto nel 1356. Il castello inferiore con cappella fu costruito fra il 1150 e il 1350. Danneggiato dal terremoto, fu ricostruito nel 1365. Dopo essere stato distrutto nel 1499 durante la guerra di Svevia, nel corso del XVI secolo fu definitivamente abbandonato.

Dal XVII secolo, la Chapelle Notre-Dame-du-Vorbourg gode di una grande popolarità nel Giura come luogo di pellegrinaggio mariano. Il percorso inizia a Le Mexique, da dove si diparte anche il bivio per la cappella. Un viale lungo oltre 300 metri conduce, disegnando una morbida curva in direzione nord-est, attraverso il Champ de Sous la Côte. Il sentiero, delimitato dagli alberi, ha una larghezza di 3 - 3,5 metri. Nel tratto successivo, immerso nel bosco, il sentiero presenta un evidente fondo ghiaioso. Il percorso si fa ora più stretto e ripido e ben presto rocciose scarpate delimitano il fianco occidentale. Inerpicandosi sulle rovine, si snoda in tornanti attraverso blocchi di pietra a tratti scolpiti fino a raggiungere la cappella. Dall’altura rocciosa si apre un panorama spettacolare.