Construido en 1610 por el famosos arquitecto Diego Sisniega, quien había trabajado en el escorial, el palacio fue propiedad de Juan Fernández del Valle. Formados por un cuerpo central y dos grandes torres, alberga en su interior preciosos frescos obra de Leon Criach en 1886. En 2017 se ha realizado la última reforma al palacio y en la actualidad alberga un alojamiento turístico, clasificado en la modalidad de palacios y casonas de Cantabria.