Рыночная деревня в период раннего Средневековья, которая с начала 12 века находилась в руках оломоуцких епископов, получила права города около 1260 года. В нем была создана епископская летняя резиденция и управление имуществом оломоуцкой епархии. Церковный город обрел представительную резиденцию, а в течение веков - три костела, капитул и школы.

На месте первоначального сельскохозяйственного двора был сооружен вначале готический град, из которого выросла ренессансная крепость. Во второй половине 17 века, после тридцатилетней войны, образованному и богатому епископу Карлу Лихтейнштейну из Кастелкома удалось поднять город из руин и возвести здесь резиденцию в стиле раннего барокко, в которой он поместил коллекцию произведений лучших европейских мастеров и основал большую библиотеку с сокровищами книжной культуры. Перед замком он соорудил монетный двор, в котором чеканились редкие монеты и медали.

За городской крепостной стеной был основан "Цветник", в сооружении которого в стиле барокко принимали участие итальянские и местные мастера. Посреди дорожек, вокруг клумб, природных лабиринтов, рядов декоративных деревьев и фонтанов была сооружена восьмигранная ротонда с богатыми живописными и скульптурными украшениями. Одну часть сада занимает колоннада со скульптурами. Сад в окрестностях замка - это парк, известный еще с периода Возрождения, в течение веков подвергался различным переделкам в стиле романтизма и классицизма, в нем были сооружены садовые здания, водные пути и высажены редкие породы деревьев. Замок, восстановленный после пожара 1752 года в современном виде, был на рубеже 1848-1849 годов местом заседаний рейхстага, на которых был принят не осуществленный в то время, однако вдохновляющий на будущее первый демократический текст конституции в Центральной Европе.

Здание замка, его исторический интерьер, картинная галерея, библиотека, "сала террена", Сеймовский и Манский залы и оба сада представляют собой редкий исторический комплекс, внесение которого в список мирового наследия ЮНЕСКО подтверждает положение и место самых значительных кромержижских памятников в сокровищнице мировой культуры.