El Palacio de los Fernández de Velasco es un bello conjunto arquitectónico de gran sobriedad, y responde a una disposición casi generalizada para este tipo de construcción que aúnan en varios edificios las dependencias de la residencia señorial y la casa de labranza, siendo la mayor parte de las conservadas de los siglos XVII y XVIII.De una parte está la casa principal o casona, que pudo construirse a mediados del siglo XVII, pues en su fachada, entre los balcones centrales, campea un escudo de Villar y Barreda. Además, el edificio tiene un reloj de sol con fecha insegura, pero en él, en otro tiempo, se dice que podían leerse los números 16.., lo que prueba que se colocó en el siglo XVII. Esta “casa principal es de dos pisos y desván. Lleva en su fachada principal piedra de sillarejo y buenos sillares en los esquinales. Adjunta al edificio principal, haciendo escuadra, está la “casa-torre”, edificio prismático ligeramente más alto, pero también cubierto a cuatro aguas. Esta casa-torre es una noble construcción con muros de mampostería, pero con sillería almohadillada de gran calidad en los esquinales. Tiene tres plantas y desván. Los vanos son también de sillería en las sencillas ventanas cuadrangulares y en antepechos de los muros este y sur, donde hay balcones de hierro forjado. Una buena cornisa de piedra tallada sostiene un alero de madera que descansa sobre ménsulas o zapatas.