Prvi zapisi o ludbreškom Starom gradu datiraju iz 14. stoljeća, a današnji oblik dvorac je dobio u razdoblju baroka. U njemu je danas smještena cijenjena ludbreška međunarodna restauratorska radionica, nezaobilazna postaja svakog turista. Osim radionice, u dvorcu se nalazi kapelica Sv. Križa, stalna izložba arhivske građe te stalni postav zbirke sakralne umjetnosti, a cijeli kompleks sastoji se od dvije, jednako stare i vrijedne gospodarske zgrade.
Oko dvorca se naziru tragovi nekadašnjeg moćnog obrambenog prstena napajanja vodom iz rijeke Bednje. Dvorac ima prizemlje i tri kata, od kojih je prvi znatno viši.
Najraniji podaci o postojanju utvrde datiraju iz 1320. godine. Za vrijeme turskih pohoda preoblikovan je u renesansni kaštel. Dolaskom obitelji Batthyany dvorac je renoviran u baroknom stilu. Tada su dvorac i gospodarske zgrade bili u potpunosti iskorišteni. Početkom 19. stoljeća u dvorcu se manje boravi te počinje propadati. Nekoliko puta je preoblikovan zbog raznolike namjene.
U dvorcu je, osim kapelice Svetog Križa, nezaobilaznog mjesta posjeta svakog turista, smještena i međunarodna restauratorska radionica – Restauratorski centar Ludbreg.
U sklopu kapelice Sv. Križa nalazi se i stalna izložba arhivske građe (Knjiga čuda, Bula pape Leona X., zaključci Hrvatskog sabora…) te stalni postav zbirke sakralne umjetnosti (crkvena ruha i knjige, liturgijsko posuđe, slike, skulpture…).