Il semblerait que les origines du château de Burzet remontent à l’époque du Haut Moyen Age. Les comtes de Peyres, originaires du Gévaudan, en étaient les Seigneurs. Bâti sur un piton rocheux et bordé d’une rivière, il présente toutes les caractéristiques d’un château fort du Moyen Age. En architecture militaire, ce type de site s’appelle un éperon barré : les côtés du site sont défendus par des à pics naturels. Le seul côté accessible, à l’ouest, était protégé par une douve (un fossé sec). En Ardèche, on appelle ce type de château des « Roccas » (rochers). Il faut imaginer un ensemble imposant, constitué d’un donjon massif et de trois tours carrés reliées entre elles par des courtines, une enceinte probablement crénelée qui formait une cour et une basse-cour avec les maisons villageoises. Il ne reste du château que les vestiges du donjon carré sur lesquels fut érigée en 1874 Notre Dame de Toutes Grâces. Le donjon était une large et haute tour habitable, rectangulaire, surmontée d’un toit à quatre pans, avec peu de fenêtres du côté de l’attaque (celles existantes étaient pourvues de grilles). Au sommet, il y avait un chemin de ronde continu sur mâchicoulis dont le sol était percé d’ouvertures et des échauguettes, aux 4 angles, pour parachever la défense et supprimer les angles morts. Quelques indices montrent encore aujourd’hui l’existence du château : on observe la marque des outils sur le rocher creusé artificiellement, ainsi que des trous de boulins, des trous carrés servant à supporter une poutre. Ce château fut probablement détruit en plusieurs temps : peut être au moment des guerres de religion au XVIème siècle (les Comtes de Peyres étaient protestants), lors de l’ordonnance de Richelieu, en 1626, qui ordonne le démantèlement des châteaux-forts et probablement aussi lors de la Révolution Française. Le château a alors servi de carrière de pierres pour la construction de maisons aux alentours. Sur l’emplacement de l’ancien château se dresse aujourd’hui la Tour de l’Horloge.