Del enorme palacio que fue de los señores de la villa, quedan pocos restos visibles debido a las sucesivas modificaciones que ha sufrido. Su construcción data del S.XVI-XVII como vivienda del corregidor o representante del Conde-Duque de Benavente. De la obra original queda el escudo heráldico del Conde.