Construido en el S.XIII, en el mismo material granítico que la muralla, se irán añadiendo elementos hasta el S.XVI. La fachada occidental, con ventanas geminadas en la planta superior, data del S.XIII, con una portada gótica ojival; una segunda puerta en esta fachada, es adintelada, y data del S.XIV.
Los matacanes y merlones de la fachada septentrional denotan el carácter defensivo del palacio. Al margen de las ventanas geminadas góticas, destacan las dos puertas en arco de medio punto de gran dovelaje; sobre la más occidental se desarrollan unos relieves con dos salvajes encadenados flanqueados por dos caballeros con trompetas.
Completa el conjunto una ventana renacentista de 1541, mandada construir por Pedro Dávila y enmarcada por columnillas y remate en frontón con el escudo de armas de los Dávila. Por aquel entonces las puertas de la muralla se cerraban de noche. Para evitar la prohibición, se abrió una puerta en la muralla sin autorización. Ordenado su cierre, Pedro Dávila, en despecho por la orden, mandará abrir esta ventana, en la que puede leerse “Donde una puerta se cierra, otra se abre”.
