С историей строительства замка Франкенберг связана одна легенда. Во время бракосочетания Карла и Фастрады в зале появилась змея, держащая во рту кольцо. Змея бросила кольцо в наполненный вином кубок, а Карл достал его и надел на палец невесте. Якобы именно в этом кроется секрет той любви, которую Карл питал к своей супруге. Когда Фастрада скончалась, Карл погрузился в депрессию. Чтобы развлечь монарха, придворные устроили охоту. Во время охоты Карл выронил обручальное кольцо супруги, которое носил с собой. На том месте, где король обронил кольцо, было решено построить замок. Название его переводится как «гора франков».
Существует и ещё одна легенда, связанная с замком Франкенберг. Считается, будто эта история натолкнула Толкиена на мысль написать сагу «Властелин колец». После смерти Карла замок переходил из рук в руки. Его нынешний облик возник в XIV веке. Его перестроили тогдашние владельцы из знатной фламандской семьи Мерод-Уффализ. С XVIII века в замке уже никто не жил, и он постепенно разрушался. Но в 1834 году отцы города решили восстановить Франкенберг. Сейчас в его стенах размещается музей истории Аахена, а также местный культурный центр.