Замок Мильденбург расположен на юго-западной окраине Мильтенберга. Первые упоминания о нём относятся к 1226 году, хотя очевидно, что строить его начали еще раньше. Замок часто переходил из рук в руки. Во время Тридцатилетней войны 1618–1638 годов он был серьёзно повреждён, но затем восстановлен. В 1808 году его владельцем стал местный предприниматель Карл Готлиб Хорстиг. В 1979 году администрация города Мильтенберг выкупила замок. К тому времени крепость и окружающая ее территория были основательно запущены. У городских властей возникла идея сделать в его стенах музей замка. Реализовать идею удалось лишь в 2011 году.
Сейчас здесь можно узнать об истории как замка Мильденбург, так и города Мильтенберг. Музей располагает замечательной коллекцией картин старых мастеров и современных живописцев. Туристам также будет интересно побывать на смотровой площадке, расположенной на башне замка. С ее 27-метровой высоты открывается великолепный вид на город и окрестности. Здесь же можно перекусить в кафе, работающем при замке.