Zámek Pluhův Žďár, původně středověká tvrz ze 13. století, byla v 17. století přestavěn na barokní zámecké sídlo. V dnešní době je zámek rekonstruován do podoby z 18. století.
První zmínky o tvrzi pocházejí z r. 1267, ze zápisu na listině Oldřicha z Hradce ze dne 13. května, kde byl doložen jako první majitel Pluh z Rabštejna, který byl úředníkem Oldřicha z Hradce. Až do 15. století byla tvrz ve vlastnictví Pluhů ze Žďáru. Pak po dobu několika stovek let tvrz a zámek vystřídalo několik majitelů. Zámek od Paarů odkoupil v r. 1928 v rámci pozemkové reformy Bedřich Beneš, bratr pozdějšího prezidenta Edvarda Beneše. Po roce 1948 byl Benešům zámek zabaven. Roku 1992 byl objekt restituován potomky původních majitelů, kteří jej průběžně rekonstruují.
Název „žďár” pochází z původního slova žďářiště, což byla místa osídlená/obdělávaná na vypálených lesích. Toť k vysvětlení názvu zámku/obce Pluhův Žďár.