Para evaluar una herramienta de IA para BIM antes de confiarle un modelo no hace falta saber de software: hacen falta ocho preguntas y un caso tuyo. Las preguntas son qué datos salen de tu equipo y dónde se procesan; si cada afirmación cita una fuente que puedas abrir; si con la misma entrada da el mismo resultado; qué parte calcula un procedimiento fijo y qué parte un modelo de lenguaje; quién firma el resultado; qué hace cuando no tiene base para decidir; cómo medir su acierto en un caso tuyo; y qué queda registrado. Esta guía explica, pregunta por pregunta, por qué importa y qué respuesta debería preocuparte.
Sirve igual para un complemento de Revit, un asistente conversacional o un servicio en la nube. No compara productos: te da la lista con la que compararlos tú. Si antes quieres el mapa de qué hace hoy cada familia de IA y qué riesgos trae, empieza por la guía IA en BIM: lo que puede hacer hoy y lo que no debe decidir.
Las ocho preguntas, de un vistazo
| N.º | Pregunta | Una respuesta que debería preocuparte |
|---|---|---|
| 1 | ¿Qué datos salen de mi equipo y dónde se procesan? | «Todo es seguro», sin decir qué se envía, adónde ni cuánto tiempo se guarda |
| 2 | ¿Puede citar la fuente de cada afirmación, y puedo abrirla? | «Lo sabe el modelo», o una cita que no lleva a ningún texto |
| 3 | ¿Con el mismo modelo BIM y la misma regla, da el mismo resultado? | «Casi siempre» |
| 4 | ¿Qué calcula un procedimiento determinista y qué un modelo de lenguaje? | «Lo hace todo la IA» |
| 5 | ¿Quién firma el resultado? | «La herramienta lo aprueba» |
| 6 | ¿Qué hace cuando no tiene base para decidir? | Que siempre da una respuesta |
| 7 | ¿Cómo mido su acierto sobre un caso mío? | Un porcentaje de catálogo, sin método y sin prueba propia |
| 8 | ¿Qué queda registrado? | Solo el informe final |
Cómo evaluar una herramienta de IA para BIM, pregunta por pregunta
1. ¿Qué datos salen de mi equipo y dónde se procesan?
Por qué importa. Un modelo BIM y sus documentos contienen información que no es solo tuya: la del cliente, la del edificio y, a veces, información sensible sobre su seguridad. La ISO 19650-5 dedica una parte entera de la serie a gestionarla con enfoque de seguridad, y tu contrato o tu BEP pueden limitar con quién la compartes. Una herramienta de IA puede enviar el modelo entero, una selección de elementos o solo el texto de tu pregunta, y no es lo mismo.
Pide por escrito cinco respuestas: qué se envía, a qué servidores y en qué país o región, qué otros proveedores intervienen (también el del modelo de lenguaje, si es distinto), cuánto tiempo se conserva y si se usa para entrenar sus modelos.
Respuesta que debería preocuparte: «Todo se procesa de forma segura», sin ninguna de esas cinco respuestas.
2. ¿Puede citar la fuente de cada afirmación, y puedo abrirla?
Por qué importa. Un modelo de lenguaje puede generar contenido verosímil pero falso; los investigadores lo llaman alucinación. La defensa práctica es que cada afirmación lleve su fuente (documento, edición, artículo o página y el texto literal) y que tú puedas abrirla y compararla palabra por palabra. Que la herramienta «busque en documentos» antes de responder no basta si después no te enseña de dónde sacó cada dato.
Respuesta que debería preocuparte: una referencia genérica como «según la normativa vigente», una cita que no se puede abrir o un texto citado que no coincide con el original.
3. ¿Con el mismo modelo BIM y la misma regla, da el mismo resultado?
Por qué importa. Lo que no se repite no se puede defender ante un tercero que lo repita. Los modelos de lenguaje no aseguran esa propiedad: un estudio publicado en arXiv en 2024, y revisado en 2025, repitió las mismas tareas con varios modelos configurados para responder siempre igual, y ninguno mantuvo un acierto repetible en todas. Es fácil de probar: lanza dos veces la misma revisión sobre el mismo modelo y compara los dos resultados.
Respuesta que debería preocuparte: «casi siempre da lo mismo», o diferencias entre dos ejecuciones que nadie sabe explicar.
4. ¿Qué parte calcula un procedimiento determinista y qué parte un modelo de lenguaje?
Por qué importa. Es la pregunta que ordena todas las demás. Un procedimiento determinista da siempre el mismo resultado con la misma entrada: es el adecuado para leer un parámetro y compararlo con un umbral. Un modelo de lenguaje ayuda a leer una norma, resumir un documento o explicar un resultado. Incluso la investigación que conecta modelos de lenguaje con Revit para comprobar normativa llama a su propio enfoque semiautomático.
Respuesta que debería preocuparte: que el proveedor no sepa separar las dos partes, o que el resultado final, el «está dentro» o «está fuera», salga directamente de un modelo de lenguaje.
5. ¿Quién firma el resultado?
Por qué importa. De una entrega responde una persona, no la herramienta que usó para revisarla. Una herramienta pensada para eso lo refleja en su flujo: lo que produce la máquina es una propuesta o un resultado pendiente hasta que una persona lo firma, y queda registrado quién y cuándo.
Respuesta que debería preocuparte: un botón que «aprueba» o «valida» el modelo sin que firme nadie, o un informe que se presenta como definitivo sin firma.
6. ¿Qué hace cuando no tiene base para decidir?
Por qué importa. Tarde o temprano faltará un dato en el modelo, una norma no estará cargada o el proyecto será de un país que la herramienta no cubre. Lo honesto es declararlo: «aquí no hay juicio posible». Lo peligroso es rellenar el hueco con un supuesto razonable, como la norma de un país vecino, una edición anterior o un valor habitual. Un proyecto en Colombia revisado con reglas escritas para otro país produce una respuesta con apariencia de rigor y sin ningún valor.
Respuesta que debería preocuparte: que nunca diga «no lo sé», o que su informe no distinga entre «está dentro de lo exigido» y «no se ha comprobado».
7. ¿Cómo mido su acierto sobre un caso mío antes de decidir?
Por qué importa. Un porcentaje de catálogo dice cuánto acertó en los casos que eligió quien lo midió. Sin un método de medición que cualquiera pueda repetir, una cifra no es una prueba. Lo que te sirve es cómo se comporta en un caso que conoces. Una prueba en cinco pasos:
- Elige un modelo tuyo ya revisado a mano, del que sepas qué problemas tenía.
- Pide a la herramienta la misma revisión y anota qué encuentra, qué no encuentra y qué marca como dudoso.
- Toma una muestra de resultados y comprueba cada uno contra el modelo y contra la fuente que cita.
- Repite la revisión con el mismo modelo y compara las dos ejecuciones.
- Mira qué hace donde falta el dato o la norma: si lo declara o si lo rellena.
Respuesta que debería preocuparte: que no puedas probarla con un caso tuyo antes de decidir, o que la única prueba posible sea un ejemplo preparado por el proveedor.
8. ¿Qué queda registrado?
Por qué importa. Meses después, alguien preguntará por qué se aceptó una entrega. El registro tiene que permitir reconstruirlo: qué versión del modelo se revisó, con qué regla y qué versión de esa regla, qué dato se observó, qué umbral se aplicó, con qué cita, qué resultado salió y quién lo firmó y cuándo.
Respuesta que debería preocuparte: un PDF final sin el detalle que lo sostiene, o un historial que se puede cambiar sin dejar huella.
Riesgos de usar IA con modelos BIM: qué pregunta destapa cada uno
| Riesgo | Qué le puede pasar a tu entrega | Preguntas que lo destapan |
|---|---|---|
| Inventar un dato | Un requisito o un umbral que no está en la fuente | 2 y 4 |
| No ser reproducible | Dos revisiones del mismo modelo que no coinciden | 3 y 8 |
| No dejar rastro | Nadie puede explicar después por qué se aceptó | 2 y 8 |
| Confidencialidad | Información del cliente fuera de lo que permite el contrato | 1 |
| Rellenar huecos | Un resultado con apariencia de rigor sobre algo que no se comprobó | 6 y 7 |
| Responsabilidad difusa | Una aprobación que no firma nadie | 5 |
Cada riesgo está explicado con ejemplos en la guía pilar sobre lo que la IA puede hacer hoy en BIM y lo que no debe decidir. Si tu organización necesita un marco formal de gestión de riesgos, el Instituto Nacional de Estándares y Tecnología de Estados Unidos (NIST) publicó en julio de 2024 un perfil específico para la IA generativa, como complemento de su marco de gestión de riesgos de IA.
Qué hace OrionBIM aquí y qué no
Así responde OrionBIM a las ocho preguntas, a 1 de octubre de 2026. Las que tocan al resultado se pueden comprobar en un dictamen.
- Datos. El complemento lee el modelo en Revit, en vivo, y la comprobación se hace fuera de tu equipo, en los servidores de OrionBIM. Los escaneos E57 de OrionPoint se suben desde Revit y se procesan en servidores en la nube. Las funciones de asistente usan modelos de lenguaje de terceros, a los que llegan tu pregunta y la información del modelo que el asistente consulte para responderla. Qué proveedores intervienen, en qué región y cuánto tiempo se conservan los datos es información que debes pedirnos por escrito, igual que a cualquier otro proveedor.
- Fuente. Cada regla lleva su fuente y la cita literal de la que sale el umbral, y se comprueba que esa cita existe en el texto de la norma. Que el umbral coincida con ella lo tiene que confirmar una persona, y a 1 de octubre de 2026 esa revisión de las reglas ya cargadas sigue en curso. Desde septiembre de 2026, ninguna regla nueva entra en el motor sin que la apruebe una persona. Sin cita, no hay resultado.
- Reproducibilidad. Los resultados los calcula un evaluador determinista: el mismo modelo, con la misma regla, da el mismo resultado. El registro de dictámenes está diseñado para guardar la versión de la regla y la del evaluador.
- Reparto. El evaluador calcula. La IA interpreta, recupera, redacta, ordena y explica, y no decide ningún resultado. Ningún indicador de confianza cambia el significado de un resultado. El asistente del complemento usa modelos de lenguaje para consultar el modelo y trabajar con él desde Revit, y las acciones que el sistema clasifica como destructivas piden la confirmación de una persona; tampoco él emite veredictos.
- Firma. El dictamen lo firma una persona y queda registrado quién y cuándo. Para marcar una entrega como Publicada en el registro de OrionBIM (no publica en ACC ni en otra solución de CDE) hacen falta tres cosas a la vez: que exista el veredicto, que no sea «No auditable» y que lo firme una persona. No sustituye la autorización y la aceptación que fije el proyecto.
- Sin base para decidir. Los resultados son siempre uno de cuatro: OK, Revisar, Fuera de rango o No auditable. Si no hay regla aprobada para el país del proyecto, o el modelo no trae el dato, no hay juicio posible y se dice; nunca se aplica la norma de otro país. A 1 de octubre de 2026, OrionBIM solo tiene reglas de República Dominicana, y ninguna del CDCRD está aprobada: un proyecto en España o en México obtendría hoy «No auditable». Además, mientras la revisión humana de las reglas ya cargadas sigue en curso, OrionBIM muestra como «Revisar» todo resultado que el evaluador habría dado como OK o Fuera de rango: si pruebas la herramienta con un modelo tuyo, hoy verás «Revisar» y «No auditable», con el valor medido, el umbral y la cita a la vista.
- Acierto. No publicamos porcentajes: sin un método de medición que cualquiera pueda repetir, una cifra no es una prueba. Los resultados con juicio (OK, Revisar y Fuera de rango) traen el dato observado, el umbral exigido y la cita, así que puedes comprobar a mano la muestra que elijas.
- Registro. Cada dictamen está diseñado para guardar la regla y su versión, el dato observado y el exigido, la cita con su fuente y su texto literal, la versión del evaluador y la del modelo revisado, y quién lo firmó y cuándo.
Y lo que no hace: no dice que un proyecto «cumple», no sustituye al proyectista ni a la autoridad que concede la licencia, y no publica cifras de precisión ni de ahorro.
Puedes ver cómo responde un dictamen de OrionBIM a estas ocho preguntas.
Fuentes
- ISO 19650-5:2020 - Organization and digitization of information about buildings and civil engineering works, including building information modelling (BIM) — Information management using building information modelling — Part 5: Security-minded approach to information managementOrganización Internacional de Normalización (ISO), consultada 2026-10-01
- A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open QuestionsarXiv, Huang y otros (2023, revisado en 2024), consultada 2026-10-01
- Non-Determinism of "Deterministic" LLM SettingsarXiv, Atil y otros (2024, revisado en 2025), consultada 2026-10-01
- Large Language Model-Driven Code Compliance Checking in Building Information ModelingarXiv, Madireddy y otros (2025), consultada 2026-10-01
- Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence ProfileNational Institute of Standards and Technology (NIST), NIST AI 600-1 (julio de 2024), consultada 2026-10-01