El palacio del infante se levantó al norte de la villa en una situación privilegiada por sus vistas sobre Arenas, el monte y la Sierra de Gredos.
Está rodeado un una gran extensión de terreno que en su momento sirvió como jardines, huerta, pajarera, etc., todo ello cerrado por un muro de piedra en su mayor parte, y la casa de oficios en un extremo.
El proyecto fue ideado y empezado a planificar por Ventura Rodríguez, pero el exceso de trabajo le llevó a delegar en hombres de su confianza. Domingo e Ignacio Thomas siguieron el estilo tardío de su maestro, caracterizado por una cierta austeridad: muros lisos, edificios en bloque, planos sencillos.
Debido a la prematura muerte del infante don Luis, del palacio se construyó tan sólo el ala derecha: 44 metros de fachada principal frente a los 72 proyectados.
El pórtico de entrada, por el que podían acceder carruajes, es de granito, seis columnas dóricas adosadas y tres pequeñas bóvedas. Por encima de ello hay una gran terraza a la que se accede desde el piso superior.
La planta baja se utilizó para almacenes. En ella está la cocina, el acceso a un patio interior con fuente y las letrinas.
La cocina es pequeña en comparación con la grandeza de las demás estancias (6,60 x 6,20 m.). Tiene el suelo de piedra, una gran chimenea con campana de 6,60 x 1,90 m., horno con repisa de piedra, despensa y hueco de montacargas.
El patio interior es cuadrado y luce una fuente de piedra redonda con un sólo caño que sale de una piedra en forma piramidal terminada en una bola. En las plantas superiores se ven clavos que servían para sujetar un toldo, convirtiendo el patio en una estancia fresca contra los calores del verano.
Las letrinas son de piedra y están en dos habitaciones pequeñas. En su momento debieron ser algo novedoso.
El espacioso vestíbulo de entrada, con suelo de piedra, da paso a la señorial escalera principal, amplia, con balaustrada de piedra, que tras un primer tramo y descansillo se divide a derecha e izquierda en forma de tijera en dos tramos que conducen a la antesala de las estancias nobles.
En este piso superior el hueco de la monumental escalera está rodeado de balaustradas que actúan como mirador sobre el espacio central. El techo aquí es abovedado. En este piso principal todos los salones tienen bóvedas esquifadas, zócalos de madera que debieron ser de jaspe y chimeneas de mármol.
Aquí se encuentran las habitaciones privadas del infante y su familia, además de las que se cree que ocupó Goya, el salón que hoy se denomina Boccherini, y el oratorio. Esta última estancia curiosamente es circular, con cúpula y linterna, adornada con ocho pilastras con capitel de hojas de acanto, y unos frescos que en algún momento se ocultaron bajo pintura.