El palacio tiene su origen en una torre defensiva del siglo XIII, en torno a la cual se fue desarrollando el edificio, que en la actualidad se estructura en torno a tres cuerpos, adaptados al espacio de esta calle tan pendiente. El cuerpo principal se sitúa en perpendicular a la calle y al Camino de Santiago (albergando en la actualidad la Casa de Cultura de L.luarca), mientras que el núcleo más antiguo del conjunto se levanta al otro lado de la calle (siendo el actual cuartel de la policía), estando ambas estructuras unidas por un pasadizo elevado que discurre sobre la calle. En la en la fachada posterior se ubica la capilla, el tercer cuerpo de la construcción, también unida al conjunto mediante otro pasadizo. 

La fachada principal, colindante con el Camino, se abre al exterior mediante un gran arco de medio, con sus dovelas muy desarrolladas, en el que se localiza la puerta de entrada, flanqueada por pequeñas ventanas adinteladas. En el piso superior aparecen, desplazados hacia la derecha del eje que define la puerta, dos vanos, a modo de balcón enrasado, sobre la puerta de acceso, correspondiendo esta fachada al siglo XV o comienzos del XVI.