El Castillo Palacio de Ballerías es un edificio del gótico tardío de planta irregular construido con sillería, de aspecto imponente sobre la roca. Contaba con dos puertas de acceso, al recinto con un puente levadizo y al edificio protegido por dos troneras. En el siglo XVI se añadió una segunda planta, un gran contrafuerte y la galería de arcos aragonesa, todo en ladrillo. El castillo palacio adquiere una función más residencial y se organiza en torno a un patio central.
Formaba parte de un conjunto de castillo palacios monegrinos de la misma época y características similares. Incluyendo los de Sangarrén siglos XIV-XV, Albero Bajo siglo XV y Barbués siglo XV. Ubicados en talud, compactos y torres que no sobresalen en altura sobre la muralla.
En enero de 2006 fue derribada la parte de ladrillo por su dueño particular, a pesar de ser Bien de Interés Cultural, alegando que amenazaba ruina y que podía caer sobre tres casas cercanas. En 2010 el Juzgado de Primera Instancia número 69 de Madrid le condenó a pagar 27.302,99€ por responsabilidad civil al Gobierno de Aragón, que le había denunciado por derribar este Bien de Interés Cultural. Ya en 2008 fue condenado por el Juzgado de lo Penal número 1 de Huesca, pero alcanzaron un acuerdo la defensa y la Fiscalía. El ayuntamiento de Huerto le instó a que lo rehabilitara o demoliera, optando por la segunda sin licencia ni proyecto de demolición, ni la preceptiva autorización de Patrimonio Cultural. La sentencia indica que debió ser rehabilitado. Este es otro problema, la propiedad privada de buena parte del patrimonio, y por gente que ni vive en el lugar o incluso ni en Aragón, y que no hace nada por ponerlo en valor y suponiéndole un problema económico su mantenimiento opta por la solución más sencilla. La multa a pagar es menor que lo que le hubiera costado rehabilitarlo.
Este caso nos muestra la indefensión que padece el patrimonio en el medio rural, donde tienen preocupaciones mayores que esta y nadie les ha puesto en valor el patrimonio que atesoran. De hecho tanto para vecinos, ayuntamiento y propietario era “la solución menos mala”. Ninguna administración se había preocupado por el edificio. El responsable de la finca indicó que ya se derribó parte del edificio en los años 50. El medio rural aragonés cuando esté bien atendido por la administración empezará a poder preocuparse por su patrimonio. En el mismo Huerto hay otro castillo del siglo XII catalogado igualmente como BIC.