Hoy sólo se conserva del palacio la portada barroca de su fachada, en su lugar están las instalaciones del colegio público "Conde Duque de Olivares".Gregorio Marañón los describe así en su biografía sobre el Conde-Duque de Olivares; "…a pesar de haber sido restaurado por su actual propietario el duque de Alba a finales del siglo XIX, es un edificio modesto, de un solo piso con cuadras subterráneas, como era costumbre entonces, el exterior humilde sin el menor adorno, y el interior también; con un zócalo de Talavera que recorría...