Obecnie na wzgórzu znajdują się tylko ruiny monumentalnej budowli, która powstała za panowania Kazimierza Wielkiego.
Pierwotnie była to budowla obronna. Składała się z przyziemia o sześciu izbach i piętra. Posiadała małą wieżę od strony miasta a od Wisły większą. Wydłużony podwórzec otoczony był murem, w którym po stronie przeciwległej miastu znajdował się brama wjazdowa. Do budowy zamku wykorzystano głównie wapniak.
Kazimierzowska budowla najbardziej zmieniła się w epoce renesansu. Dziedziniec powiększono od strony wschodniej, wprowadzono liczne ozdoby w nowym stylu. Zamek zwieńczono attykami.
Podczas wojen ze Szwedami uległ on ciężkim uszkodzeniom. Naprawiono go dopiero za Augusta II. Dodano wówczas późnobarokowe ozdoby – okładzinę kamienną i portal o charakterze pałacowym przy bramie wjazdowej. Portal tworzyły półkolumny jońskie, dźwigające łamane belkowanie.
Niestety podczas walk pomiędzy Augustem II a Stanisławem Leszczyńskim zamek został ponownie zniszczony. W 1806 roku znajdował się w takim stanie, że władze austriackie nakazały strącić grożące zawaleniem attyki. Od tamtej pory już go nie odbudowano.
Zamek kazimierski ma dzieje większości polskich zamków. Wzniesiony przez Kazimierza Wielkiego wraz z upływem czasu podupadł. W epoce późnego renesansu został odbudowany już bardziej jako pałac a nie budowla obronna. Zniszczono go ponownie w okresie wojen ze Szwedami. Początkowo naprawiany, został wkrótce pozostawiony własnemu losowi i powoli zamienił się w romantyczną ruinę.
żródło: http://www.kazimierzdolny.pl/zabytki/105/