Es wird vermutet, das vor dem Stift eine Wehr- und Wohnburg des Grafen Sizzo von Kevernburg stand, da im Klostergarten Mauerreste gefunden wurden.