V neposredni bližini brežiškega gradu stoji nekdanja grajska kašča. Stavba je bila prvič omenjena leta 1491, svojo današnjo podobo pa je dobila v začetku 18. stoletja. To je bil čas, ko so grofje Attems, tedanji lastniki gradu, mesto preurejali. Poleg gradu so imeli v lasti še nekaj gospodarskih stavb v okolici. Kašča in njena podzemna klet sta služili kot shramba za pridelke, ki so jih pridelali na plemiških zemljiščih. Kasneje je bilo v stavbi več let gostišče, imenovano Pri gradu, po drugi svetovni vojni pa je v objektu imelo proizvodnjo podjetje Vino Brežice.
Brežiška grajska kašča predstavlja eno najlepše ohranjenih tovrstnih objektov v Sloveniji. V notranjosti so ohranjeni toskanski stebri in svodi. V sodobnejšem času so se v kašči odvijale kulturne prireditve, danes pa njeni prostori samevajo. Stavbo si je možno ogledati le z zunanje strani.
Nasproti kašče stoji nekdanja konjušnica. V pritličju, v veliki dvorani s stebriščem in stropnimi oboki, so se v preteklosti nahajali grajski hlevi. V času grofov Attems so objekt imenovali jahalna šola. Nad hlevi je v začetku 20. stoletja živel najeti nadzornik in vodja viničarjev s svojo družino. Velika dvorana v pritličju je ostala ohranjena. V objektu danes deluje brežiška glasbena šola, ustanovljena leta 1946.
