Замок Остерштайн появился на окраине города Цвиккау в XIII веке как оборонительное сооружение. В начале XV века он сильно пострадал от пожара и в конце концов был разрушен в 1407 году. Спустя почти два столетия на его месте по распоряжению правителя Саксонии Христиана I была возведена ренессансная резиденция, которую стали использовать по назначению с 1590 года.
В XVIII веке в здании замка Остерштайн устроили тюрьму, которая так или иначе просуществовала до 1962 года! Самой знаменитой её узницей была революционерка Роза Люксембург. После 1980 года замок стал быстро разрушаться. Но в 2006-07 годах его реконструировали. Сегодня в здании размещается дом престарелых, но зайти во двор замка может каждый.