El castillo de Puente del Congosto fue construido a mediados del siglo XV, durante el reinado de los dos últimos monarcas trastámara: Juan II y Enrique IV. Guarda muchas similitudes arquitectónicas con otras edificaciones castrenses coetáneas de la provincia de Ávila.
Para mejor entender su estructura, hemos de señalar que su finalidad en el momento de su construcción fue básicamente defensiva, de modo que a diferencia de otros castillos-palacios, de uso básicamente residencial, que ya por entonces comenzaban a construirse en Castilla, el nuestro es todavía un auténtico castillo-fortaleza cuyo objeto fundamental era salvaguardar las posesiones señoriales de su propietario, así como controlar el estratégico paso por el puente sobre el río Tormes.
Su planta, perfilada por la muralla perimetral, es de un hexágono irregular. Puede recorrerse, en su parte alta, en su práctica totalidad, por un camino de ronda.
La entrada actual al recinto da acceso directo a un espacioso patio de armas al aire libre, totalmente solado con lanchas de granito, ideal para la celebración de banquetes de boda y otros eventos, con capacidad para más de 300 personas.
Delimita este patio de armas con diversas estancias que albergan varios museos con multitud de curiosos utensilios que hasta no hace muchos años eran utilizados en profesiones varias tales como agricultura, ganadería, carpintería, herrería o peluquería, así como dos dormitorios antiguos completamente amueblados, de estilo clásico. Asimismo, pueden contemplarse bajo estas dependencias varios ejemplares de carros típicos de la comarca, algunos de ellos muy vistosamente decorados.
Un grueso muro separa el patio de armas del resto de la fortificación, formada básicamente por un gran torreón o alcázar de planta rectangular, al cual se adosa otro de igual altura en forma de D, construido años más tarde que aquél. El acceso al alcázar se efectúa desde otro patio enlanchado, bajo el cual existe un magnífico aljibe o depósito de agua subterráneo en perfecto estado de conservación.
El alcázar se divide en cuatro pisos. El más bajo fue en su día almacén de víveres, y en la actualidad alberga amplios aseos para el público. El siguiente piso, al que se accede desde el patio del aljibe, es una espaciosa nave diáfana, con un imponente techo de bóveda de ladrillo, que originariamente haría las veces de cuerpo de guardia o salón de recepción para visitantes de relevancia. De una de las esquinas de este piso arranca una magnífica escalera de caracol de 90 peldaños, toda ella construida en granito, por la cual se sube a los restantes pisos, hasta llegar a la azotea. El piso tercero fue en su día la vivienda principal del señor, y actualmente está completamente amueblado. Se abren en el muro este de esta dependencia dos balcones con sus poyos y preciosas ventanas de granito ajimezadas, sin duda las más artísticas y emblemáticas del castillo. Esta tercera planta se comunica con dos encantadores dormitorios redondos, igualmente amueblados, ubicados en la ya mencionada torre en forma de D. La cuarta planta del alcázar es completamente diáfana. Su techo lo forma otra enorme bóveda de cañón de ladrillos, similar a la de la primera planta. Tres amplios ventanales se abren en sendos muros de esta estancia, aportando gran luminosidad a la misma.
Finalmente desemboca la escalera de caracol en la azotea de la fortificación, formada por dos amplias terrazas, desde las que se avista una amplia panorámica tanto del pueblo como de la extensas estribaciones y cumbres de las sierras de Gredos y Béjar.
Desde la azotea del alcázar puede descenderse a otras dos habitaciones redondas de la torre en forma de D, actualmente sin uso definido, que en su día sirvieron de calabozo o presidio, como así atestiguan los archivos históricos.
El edificio se encuentra en la actualidad restaurado en su práctica totalidad, y todas sus dependencias disponen de suministro eléctrico. Existe igualmente agua corriente, con cuatro aseos para el público.
Todo este conjunto, excepto las dependencias de uso privado, se pone a disposición de las personas interesadas en celebrar su evento en él.
