La rovina del castello di Radegg è ubicata su uno sperone scosceso sul lato meridionale del Rossberg a Osterfingen. Attraverso le mura occidentali, dove oggi è stata costruita una passerella in legno, a suo tempo un ponte levatoio e un portone davano accesso agli edifici abitati. Il castello è menzionato per la prima volta attorno al 1200. I signori di Rossberg possedevano beni a Osterfingen, Löhningen, Beringen, Guntmadingen e Trasadingen.

Si presuppone che il castello venne distrutto attorno al 1270, a causa delle lotte condotte con le famiglie nobili circostanti. Le frecce di archi e balestre trovate sul perimetro antistante al castello nonché le tracce di incendi rafforzano questa tesi.