Костёл Святого Гиацинта был построен в XVI веке как школа при францисканском монастыре, носившем имя святого Гиацинта. В XVII веке, когда появился генеральный план застройки Выборга, школу перестроили: она превратилась в местное дворянское собрание и стала называться Рыцарским домом. В следующем столетии Выборг был присоединён к Российской империи, и в 1799 году император Павел Первый велел вернуть это здание католической церкви. В его стенах сначала была устроена часовня святого Гиацинта, а в середине XIX столетия — приходская церковь, костёл того же святого.
Во время Первой мировой войны костёл Святого Гиацинта превратили в приходской дом. В советскую эпоху службы здесь какое-то время продолжались, пока церковь не стала складом, а затем художественной школой. Уже в наше время здание передали Выборгской картинной галерее и ожидает реставрации. Хотя все церковные пристройки давно уничтожены и облик этого сооружения вполне светский, горожане всё ещё называют его костёлом святого Гиацинта