Brežiški grad je bil prvotno lesena utrdba, ki so jo na vzpetini na levem bregu Save za obrambne in upravne namene dali postaviti Salzburžani, domnevno v 12. stoletju. Ob gradu se je razvilo srednjeveško mestece, upravno in gospodarsko središče salzburške posesti v Posavju. Ime mesta izhaja iz besede brežec, to je poimenovanju za brežino reke.
Grad je skupaj z mestom in celotnim ozemljem salzburške nadškofije v 15. stoletju za dobrih deset let prešel v roke gospodarjev z Ogrskega (Madžarska), nato se je vrnil v habsburške roke. Med kmečkimi upori in v času turških vpadov v 16. stoletju je večkrat gorel, zato je nemški cesar Ferdinand leta 1529 odobril zidavo novega gradu. Postavili so ga s štirimi obrambnimi stolpi in dvema obrambnima zidovoma, hkrati je bilo s širokim in visokim obrambnim zidom utrjeno celotno mesto.
Grajska posest je bila v 17. stoletju nekaj časa v lasti vplivne hrvaške plemiške družine Frankopan, konec tistega stoletja pa se je v grad vselil grof Ignac Marija Attems. Naklonjen baročnemu umetnostnemu slogu ga je dal preurediti v bivalni dvorec. Tako je bila leta 1703 urejena in poslikana Viteška dvorana, ki velja za največjo v celoti poslikano baročno dvorano na Slovenskem, med leti 1715–20 pa sta bili ob prezidavi vzhodnega trakta poslikani tudi balustradno stopnišče in grajska kapela.
Viteška dvorana je med prvo svetovno vojno služila kot bolnišnica za ranjence s soške fronte. Po drugi svetovni vojni je prostore v gradu dobil Posavski muzej Brežice in še danes so vse grajske sobane namenjene muzejski dejavnosti ter kulturnim prireditvam.
