La inteligencia artificial (IA) es una disciplina que ha experimentado un gran avance en los últimos años. Sin embargo, a pesar de los avances tecnológicos, aún existen aspectos de la IA que no son completamente comprensibles para los seres humanos. En este artículo, exploraremos por qué la inteligencia artificial no es explicable y cómo esto puede afectar su implementación en diferentes industrias.
¿Por qué es importante la explicabilidad de la IA?
La explicabilidad de la IA, también conocida como XAI (por sus siglas en inglés), se refiere a la capacidad de comprender cómo funcionan los sistemas de IA. Esto es especialmente relevante en casos de uso empresarial, como la evaluación de solicitudes de hipotecas por parte de un banco.
Existen diferentes partes interesadas que tienen interés en que estos modelos de IA sean explicables:
- Usuarios finales afectados por la IA: Los usuarios pueden querer impugnar la decisión de la IA o verificar que fue justa. En la Unión Europea, los usuarios tienen el derecho a la explicación según el Reglamento General de Protección de Datos (GDPR, por sus siglas en inglés) y la Ley de Igualdad de Oportunidades de Crédito en los Estados Unidos.
- Expertos en el dominio y analistas de negocios: Las explicaciones permiten a los expertos en seguros verificar las suposiciones del modelo y compartir su experiencia con la IA. Los analistas también pueden obtener nuevos conocimientos de un sistema de IA explicable en lugar de seguir ciegamente sus recomendaciones.
- Científicos de datos y gerentes de productos: La explicabilidad permite a los desarrolladores de tecnología solucionar problemas, depurar y mejorar sus modelos, así como innovar nuevas funcionalidades. Sin explicaciones, si el modelo hace muchas recomendaciones de préstamos malos, no se sabrá por qué.
- Reguladores y gobiernos: Las regulaciones entrantes en la Unión Europea exigen la explicabilidad para sistemas de alto riesgo, con multas de hasta el 4% de los ingresos anuales por incumplimiento. Canadá también está emitiendo regulaciones legalmente vinculantes para el sector privado que exigen explicabilidad, con multas por incumplimiento. La Comisión Federal de Comercio de los Estados Unidos está tomando medidas enérgicas contra el sesgo de la IA y exigiendo una mayor transparencia. El gobierno del Reino Unido ha emitido una hoja de ruta del Consejo de IA que solicita una mayor gobernanza de la IA. Más ampliamente, 42 gobiernos se han comprometido con los principios de transparencia y explicabilidad como parte del marco de los Principios de IA de la OCDE.
- Gerentes y miembros del consejo: Los propietarios de negocios y los miembros del consejo deben asegurarse de que los sistemas de IA explicables cumplan con la normativa, sean confiables y estén alineados con la estrategia corporativa.
El ejemplo anterior se refiere a solicitudes de hipotecas, pero la explicabilidad es importante en casi todos los casos de uso de IA empresarial, especialmente aquellos que involucran algún elemento de riesgo. La explicabilidad permite que una amplia gama de partes interesadas auditen, confíen, mejoren, obtengan información, escrutinien y colaboren con los sistemas de IA.
¿Cómo proporcionan explicaciones los algoritmos de aprendizaje automático?
Los sistemas de IA actuales generalmente adquieren conocimiento sobre el entorno por sí mismos a través del aprendizaje automático. Sin embargo, una desventaja de este enfoque es que los humanos, incluso los programadores, a menudo no pueden comprender cómo funcionan los modelos resultantes del aprendizaje automático. De hecho, los modelos de aprendizaje automático más sofisticados de hoy en día son cajas negras totales.
Las soluciones actuales de XAI toman estos modelos de caja negra y tratan de explicarlos. El enfoque estándar es la explicabilidad post hoc (después del evento), que a menudo implica construir un segundo modelo para aproximar el original.
Existen numerosos enfoques de XAI, pero dos son especialmente populares: LIME y SHAP. Veamos brevemente cómo funcionan LIME y SHAP a nivel conceptual.
Local Interpretable Model-agnostic Explanations (LIME)
LIME explora el modelo de caja negra al modificar ligeramente los datos de entrada originales y registra cómo cambian las predicciones del modelo como resultado. Esto crea un conjunto de datos sintéticos. Luego, LIME simplemente entrena un modelo de caja blanca, como una regresión lineal, en este conjunto de datos sintético para explicar la predicción original.
SHapley Additive exPlanations (SHAP)
SHAP aprende la contribución marginal que cada característica hace a una predicción determinada. Lo hace permutando el espacio de características y observando cómo una característica determinada afecta las predicciones del modelo cuando se incluye en cada permutación. Es importante destacar que SHAP no analiza todas las permutaciones posibles, ya que eso sería demasiado costoso computacionalmente. Se enfoca en aquellas que transmiten la mayor información.
¿Qué está mal con la explicabilidad post hoc?
LIME y SHAP pueden ayudar a comprender los modelos de caja negra, pero estos y otros métodos similares no brindan explicaciones útiles por varias razones.
Las explicaciones post hoc no hacen que el modelo de caja negra original sea confiable.
Los algoritmos de aprendizaje automático convencionales aprenden muchas correlaciones espurias y engañosas en los datos de entrada. También absorben sesgos implícitos en los datos de entrenamiento. Las explicaciones post hoc pueden revelar estos problemas, lo que permite decidir si confiar en el modelo, pero no hacen que el modelo original sea confiable.
Construir un segundo modelo para explicar el primero socava la confianza.
Los modelos explicativos, por definición, no producen explicaciones 100% confiables porque son aproximaciones. Esto significa que las explicaciones no se pueden confiar completamente, y lo mismo ocurre con el modelo original.
Las explicaciones post hoc también son frágiles: entradas similares con la misma predicción pueden tener interpretaciones muy diferentes. Además, los clasificadores extremadamente sesgados (racistas) pueden engañar fácilmente a técnicas de explicación populares como lime y shap, según una investigación de Harvard.
Las explicaciones se generan demasiado tarde en el proceso de aprendizaje automático.
Solo se puede saber si un modelo es seguro, justo y cumple con los requisitos después de haber invertido tiempo en construirlo y ponerlo en producción. Esto hace que el proceso de aprendizaje automático sea más arriesgado y más intensivo en recursos de lo necesario.
Las explicaciones post hoc fallan en sistemas dinámicos.
Los modelos de aprendizaje automático estándar suelen fallar cuando el entorno cambia. Las explicaciones post hoc no garantizan que el modelo se comporte como se espera en el futuro para nuevos datos que no se han observado antes. Solo se pueden explicar los fallos del modelo, debido a cambios en el régimen como COVID-19, después del hecho.
Las explicaciones post hoc carecen de información accionable.
Es muy difícil cambiar las características de un modelo de caja negra de acuerdo con las explicaciones. Por lo general, para actuar sobre las explicaciones, los usuarios deben cambiar completamente sus modelos y luego generar nuevas explicaciones.
Además, debido a que las explicaciones son puramente correlacionales, no se pueden aplicar directamente a la toma de decisiones empresariales o para diagnosticar por qué ocurrió algo, lo cual requiere un modelo causal. Como uno de los investigadores detrás de SHAP admite, shap hace transparentes las correlaciones captadas por los modelos predictivos de aprendizaje automático. ¡pero hacer que las correlaciones sean transparentes no las convierte en causales! Advierten que las suposiciones que hacemos al interpretar un modelo predictivo normal como causal a menudo son poco realistas.
La investigación de usuarios revela que la XAI estándar no proporciona explicaciones fáciles de entender para los humanos.
La explicabilidad post hoc puede ayudar a los ingenieros y desarrolladores a depurar algoritmos, pero no satisface las necesidades de otras partes interesadas. Según la investigación realizada por la Partnership on AI, hay una brecha entre la explicabilidad en la práctica y el objetivo de la transparencia. La investigación de usuarios de IBM también revela que los profesionales tienen dificultades para cerrar las brechas entre la salida algorítmica y la creación de explicaciones comprensibles para los humanos.
¿Por qué la IA causal produce mejores explicaciones?
La IA causal es una nueva categoría de inteligencia artificial que puede descubrir y razonar sobre causa y efecto. Los expertos en IA, como el pionero del aprendizaje profundo Yoshua Bengio, reconocen que la causalidad es muy importante para los próximos pasos del progreso del aprendizaje automático. La IA causal ofrece un enfoque mejor para la explicabilidad.
La IA causal produce modelos de caja blanca intrínsecamente interpretables, reforzando la confianza.
Los modelos causales contienen un componente cualitativo transparente que describe todas las relaciones de causa y efecto en los datos, por lo que no hay problemas de confianza, fragilidad o fairwashing. Las explicaciones siempre son fieles al modelo. Los modelos causales no requieren otro modelo para aproximarse a ellos.
Las explicaciones causales se generan antes en el proceso de IA, antes de construir los modelos.
Los expertos en el dominio pueden restringir los modelos con su conocimiento del campo e imponer criterios de equidad ajustando el grafo causal antes de construir el modelo completo. Esto permite aplicaciones más seguras, más cumplidoras y más controladas que se comportan según lo previsto. A diferencia de la XAI estándar, la IA causal proporciona explicabilidad ante hoc (antes del evento) que es menos arriesgada y requiere menos recursos.
La causalidad es muy importante para los próximos pasos del progreso en el aprendizaje automático Yoshua Bengio, ganador del Premio Turing y pionero del aprendizaje profundo
Las explicaciones causales funcionan para sistemas dinámicos.
Se puede garantizar a las partes interesadas, incluidos los reguladores y los equipos de riesgo, cómo se comportará el modelo en todas las circunstancias, incluso cuando sean completamente nuevos o sin precedentes.
Las explicaciones producen información accionable.
Los modelos se pueden ajustar fácilmente en función de las explicaciones, que también pueden ser exploradas por los usuarios para simular intervenciones e imaginar escenarios hipotéticos.
El panel de control de causaLens produce diagramas causales detrás de sus pronósticos. Los interesados en el negocio pueden entender intuitivamente estos diagramas intrínsecamente explicables. También pueden compartir fácilmente conocimientos con la IA y colaborar con ella para explorar escenarios hipotéticos y diseñar intervenciones comerciales. Aquí mostramos un modelo de préstamo, con un módulo especialmente adaptado para evaluar la equidad del modelo. Tenemos paneles de control adaptados a todas las áreas de finanzas y banca.
La IA causal produce explicaciones extremadamente compatibles con los humanos.
Los humanos piensan naturalmente en términos causales, por lo que los usuarios pueden interpretar e interactuar fácilmente con estos diagramas. Más allá de las predicciones, los usuarios pueden evaluar el impacto causal de una política y cuestionar el modelo haciendo preguntas hipotéticas. Estas son capacidades distintivas de la IA causal.
Existe un equilibrio entre la precisión de la predicción y la explicabilidad en el aprendizaje automático convencional que no se aplica a la IA causal.
La explicabilidad intrínseca conduce a una sinergia entre la explicabilidad y la precisión.
Con el aprendizaje automático convencional, hay un equilibrio entre la explicabilidad y el rendimiento: los modelos más poderosos sacrifican la explicabilidad. En cambio, un mejor modelo causal explica el sistema de manera más completa, lo que resulta en un rendimiento superior del modelo.
causaLens proporciona IA de próxima generación para empresas. Nuestra tecnología utiliza IA causal para construir modelos que no solo son precisos, sino también verdaderamente explicables, poniendo la causa en porque. Cómo podemos ayudarte a comprender y explicar mejor tu entorno empresarial.
Si quieres conocer otras notas parecidas a Artículo: explicabilidad de la ia y su importancia puedes visitar la categoría Inteligencia.