Das Schloss in Vorbourg wird erstmals im 10. Jahrhundert erwähnt. Verschiedene Grafen und auch der französische Staat zählten zu seinen Besitzern. 1822 kauft die Stadt Delsberg das Ensemble, heute gehört es der Bürgergemeinde. Ein oberes Schloss wurde wahrscheinlich vom Erdbeben 1356 zerstört. Das untere Schloss mit Kapelle wurde zwischen 1150 und 1350 erbaut. Vom Erdbeben beschädigt wurde es 1365 rekonstruiert. Nachdem es im Schwabenkrieg 1499 zerstört worden war, wurde es im Verlauf des 16. Jahrhundert endgültig verlassen.

Seit dem 17. Jahrhundert geniesst die Chapelle Notre-Dame-du-Vorbourg als Marien-Wallfahrtsort grosse Popularität im Jura. Der Weg beginnt in Le Mexique, wo auch der Kreuzweg zur Kapelle abzweigt. Eine über 300 Meter lange Allee führt in einer leichten Nordosttkurve durch den Champ de Sous la Côte. Die Wegbreite wird durch die Bäume auf drei bis dreieinhalb Meter begrenzt. Im folgenden Waldstück ist der verwendete Schotter deutlich zu erkennen. Der Weg wird nun schmaler und steiler, felsige Böschungen begrenzen bald die westliche Seite. Er erklimmt die Ruine, um in Serpentinen durch stellenweise behauene Felsblöcke weiter bis zur Kapelle zu führen. Von der felsigen Erhebung eröffnet sich einem ein spektakulärer Ausblick.