La inteligencia artificial (IA) ha dado un paso más en su desarrollo al aprender y utilizar un lenguaje que nunca antes había sido entrenada para conocer. Este fenómeno, conocido como propiedades emergentes, ha generado muchas preguntas y ha abierto un nuevo campo de estudio en el ámbito de la IA. Recientemente, se ha observado cómo un programa de IA ha logrado adaptarse al idioma bengalí con tan solo unos pocos estímulos. Esto demuestra que la IA es capaz de aprender y utilizar un lenguaje completamente nuevo con solo unas pocas indicaciones.
¿Qué es este fenómeno?
Este fenómeno de la IA aprendiendo un idioma para el cual no ha sido entrenada plantea muchas preguntas: ¿por qué ocurre esto?, ¿cómo podemos explicarlo? Según los informes recientes, la única explicación plausible es el fenómeno conocido como caja negra de la IA.
En pocas palabras, una caja negra de IA es un sistema cuyas entradas y operaciones no son visibles para el usuario ni para ninguna otra parte interesada. Se trata de un sistema impenetrable. Lo sorprendente de esto es que los modelos de IA de caja negra llegan a conclusiones sin proporcionar ninguna justificación sobre cómo tomaron sus decisiones.
Para entender la caja negra de IA, primero debemos comprender cómo funciona la inteligencia humana o artificial. El aprendizaje por ejemplo es lo que impulsa la mayoría de las inteligencias, ya sean humanas o artificiales. Por ejemplo, un niño aprende a reconocer letras o animales mostrándoles ejemplos. Con solo mostrarles algunos ejemplos de una letra o animal, ellos pueden identificarlos rápidamente.
Según el profesor Samir Rawashdeh de la Universidad de Michigan-Dearborn, el cerebro humano es básicamente una máquina para encontrar tendencias que, cuando se expone a ejemplos, puede identificar cualidades y, categorizarlas de manera autónoma e inconsciente. Rawashdeh, especialista en IA, afirma que esto es fácil, pero explicar cómo se hace es casi imposible.
El aprendizaje profundo funciona de manera similar, ya que se entrena de la misma manera que se entrena a los niños. Estos sistemas se alimentan con ejemplos correctos de algo que deberían poder reconocer. Pronto, su propio mecanismo de búsqueda de tendencias habrá evaluado una red neuronal para categorizar el objeto correspondiente. Al buscar el mismo objeto en su barra de búsqueda, muestra correctamente el objeto o la imagen. Al igual que en la inteligencia humana, en realidad no sabemos cómo los sistemas de aprendizaje profundo llegan a sus conclusiones.
Lo que Sundar Pichai dijo sobre la caja negra
Hay un aspecto al que todos nosotros en el campo llamamos caja negra. no lo entendemos completamente y no podemos decir por qué dijo esto o por qué se equivocó. tenemos algunas ideas y nuestra capacidad para comprender esto mejora con el tiempo, pero ahí es donde se encuentra el estado del arte, dijo Sundar Pichai, CEO de Google, a Scott Pelley de 60 Minutes en enero de este año.
Cuando Pelley interrumpió diciendo: ¿no entiendes completamente cómo funciona y, sin embargo, lo has liberado en la sociedad?, Pichai respondió diciendo: permíteme decirlo de esta manera, tampoco creo que entendamos completamente cómo funciona la mente humana.
¿Por qué es un problema la caja negra de la IA?
Aunque la IA puede hacer muchas cosas que los humanos no pueden, el problema de la caja negra de la IA puede generar desconfianza e incertidumbre en las herramientas respaldadas por la IA. Para los científicos de datos y programadores, las cajas negras de IA pueden plantear un desafío, ya que son autodirigidas y no hay datos disponibles sobre su funcionamiento interno.
Uno de los problemas más pronunciados sería el sesgo de IA. Si bien el sesgo podría introducirse en los algoritmos a través de prejuicios conscientes o inconscientes de los desarrolladores, con las cajas negras esto podría pasar desapercibido. Actualmente, los sistemas de aprendizaje profundo se utilizan para tomar decisiones sobre seres humanos en tratamientos médicos, elegibilidad para préstamos o quién debería obtener un trabajo en particular. En estos casos, los sistemas de IA ya han demostrado tener sesgos. Y, con el problema de la caja negra, esto podría agravarse dificultando que muchas personas accedan a ciertos servicios.
La falta de transparencia y responsabilidad también puede causar muchos problemas. La complejidad de las redes neuronales de las cajas negras conducirá a una auditoría insuficiente de estos sistemas. Esto podría plantear un problema en sectores como la atención médica, la banca y los servicios financieros, y la justicia penal. Además, estas cajas negras tienen una serie de fallos de seguridad que las hacen vulnerables a ataques de diversos actores maliciosos. Esto se puede explicar con un escenario en el que un actor malintencionado cambia los datos de entrada del modelo para influir en su juicio y tomar decisiones potencialmente peligrosas.
¿Qué se puede hacer para contrarrestar el problema de las cajas negras de la IA?
Según los expertos, existen dos enfoques para el problema de las cajas negras: crear un marco regulatorio y encontrar una forma de analizar en profundidad el contenido de la caja. Dado que la salida y el juicio detrás de ellas son impenetrables, un examen más profundo de su funcionamiento interno puede ayudar a mitigar los desafíos. Es aquí donde entra en juego la IA Explicable, un campo emergente de la IA que trabaja para que el aprendizaje profundo sea transparente y responsable.
Aunque las cajas negras de IA plantean muchos desafíos, los sistemas que utilizan esta arquitectura ya han demostrado su utilidad en muchas aplicaciones. Estos sistemas aún pueden identificar patrones complejos en los datos con un alto nivel de precisión. Llegan a conclusiones relativamente rápidamente y utilizando menos potencia informática. El único problema es que a veces es difícil entender cómo llegan exactamente a esas conclusiones.
Una nueva generación de modelos de inteligencia artificial (IA) puede producir imágenes creativas bajo demanda basadas en una descripción de texto. Empresas como Imagen, MidJourney y DALL-E 2 están comenzando a cambiar la forma en que se crea el contenido creativo, lo que tiene implicaciones para los derechos de autor y la propiedad intelectual.
Aunque los resultados de estos modelos suelen ser sorprendentes, es difícil saber exactamente cómo producen sus resultados. La semana pasada, investigadores en EE.UU. hicieron la intrigante afirmación de que el modelo DALL-E 2 podría haber inventado su propio lenguaje secreto para hablar sobre objetos.
Al pedirle a DALL-E 2 que creara imágenes con subtítulos de texto y luego alimentar los subtítulos resultantes (sin sentido) de nuevo al sistema, los investigadores concluyeron que DALL-E 2 interpreta que vicootes significa verduras, mientras que wa ch zod rea se refiere a criaturas marinas que una ballena podría comer.
Estas afirmaciones son maravillosos y, de ser ciertas, podrían tener importantes implicaciones de seguridad e interpretación para este tipo de modelos de IA a gran escala. Entonces, ¿qué está sucediendo realmente?
¿DALL-E 2 tiene un lenguaje secreto?
Probablemente DALL-E 2 no tenga un lenguaje secreto. Sería más preciso decir que tiene su propio vocabulario, pero ni siquiera eso se puede afirmar con certeza.
En primer lugar, en esta etapa es muy difícil verificar cualquier afirmación sobre DALL-E 2 y otros modelos de IA a gran escala, ya que solo un puñado de investigadores y profesionales creativos tienen acceso a ellos. Cualquier imagen que se comparta públicamente (por ejemplo, en Twitter) debe tomarse con precaución, ya que han sido seleccionadas por un humano entre muchas imágenes generadas por la IA.
Incluso aquellos con acceso solo pueden usar estos modelos de manera limitada. Por ejemplo, los usuarios de DALL-E 2 pueden generar o modificar imágenes, pero no pueden interactuar más profundamente con el sistema de IA, por ejemplo, modificando el código interno. Esto significa que no se pueden aplicar métodos de ia explicables para comprender cómo funcionan estos sistemas, y la investigación sistemática de su comportamiento es un desafío.
¿Qué está sucediendo entonces?
Una posibilidad es que las frases sin sentido estén relacionadas con palabras de idiomas que no son el inglés. Por ejemplo, apoploe, que parece crear imágenes de aves, es similar al latín apodidae, que es el nombre binomial de una familia de especies de aves.
Esta parece ser una explicación plausible. Por ejemplo, DALL-E 2 fue entrenado con una amplia variedad de datos obtenidos de la web, que incluía muchas palabras en otros idiomas que no son el inglés.
Esto ya ha sucedido antes: los grandes modelos de IA del lenguaje natural han aprendido a escribir código de computadora sin entrenamiento deliberado.
¿Se trata solo de los tokens?
Un punto que respalda esta teoría es el hecho de que los modelos de lenguaje de IA no leen texto de la misma manera que nosotros. En cambio, dividen el texto de entrada en tokens antes de procesarlo.
Las diferentes aproximaciones a la tokenización tienen resultados diferentes. Tratar cada palabra como un token parece ser una aproximación intuitiva, pero causa problemas cuando los tokens idénticos tienen diferentes significados (como cuando match significa cosas diferentes cuando juegas tenis o cuando enciendes un fuego).
Por otro lado, tratar cada carácter como un token produce un número menor de tokens posibles, pero cada uno transmite mucha menos información significativa.
DALL-E 2 (y otros modelos) utilizan un enfoque intermedio llamado byte-pair encoding (BPE). Al inspeccionar las representaciones BPE de algunas de las palabras sin sentido, se sugiere que esto podría ser un factor importante para entender el lenguaje secreto.
No es toda la imagen
El lenguaje secreto también podría ser simplemente un ejemplo del principio de basura entra, basura sale. DALL-E 2 no puede decir no sé de qué estás hablando, por lo que siempre generará algún tipo de imagen a partir del texto de entrada dado.
De cualquier manera, ninguna de estas opciones es una explicación completa de lo que está sucediendo. Por ejemplo, eliminar caracteres individuales de las palabras sin sentido parece corromper las imágenes generadas de manera muy específica. Y parece que las palabras sin sentido individuales no se combinan necesariamente para producir imágenes compuestas coherentes (como lo harían si realmente hubiera un lenguaje secreto).
Por qué esto es importante
Más allá de la curiosidad intelectual, es posible que te estés preguntando si todo esto es realmente importante.
La respuesta es sí. El lenguaje secreto de DALL-E es un ejemplo de un ataque adversario contra un sistema de aprendizaje automático: una forma de romper el comportamiento previsto del sistema eligiendo intencionalmente entradas que la IA no maneje bien.
Una de las razones por las que los ataques adversarios son preocupantes es que desafían nuestra confianza en el modelo. Si la IA interpreta palabras sin sentido de manera no deseada, también podría interpretar palabras significativas de manera no deseada.
Los ataques adversarios también plantean preocupaciones de seguridad. DALL-E 2 filtra el texto de entrada para evitar que los usuarios generen contenido dañino o abusivo, pero un lenguaje secreto de palabras sin sentido podría permitir a los usuarios eludir estos filtros.
Investigaciones recientes han descubierto frases desencadenantes adversarias para algunos modelos de IA de lenguaje, frases sin sentido cortas como zoning tapping fiennes que pueden hacer que los modelos generen contenido racista, dañino o sesgado de manera confiable. Esta investigación es parte del esfuerzo continuo por comprender y controlar cómo los sistemas de aprendizaje profundo complejos aprenden a partir de los datos.
Finalmente, fenómenos como el lenguaje secreto de DALL-E 2 plantean preocupaciones de interpretación. Queremos que estos modelos se comporten como un ser humano espera, pero ver una salida estructurada en respuesta a palabras sin sentido confunde nuestras expectativas.
Iluminar preocupaciones existentes
Tal vez recuerdes el revuelo en 2017 por algunos chatbots de Facebook que inventaron su propio lenguaje. La situación actual es similar en el sentido de que los resultados son preocupantes, pero no en el sentido de que skynet está llegando para conquistar el entorno.
En cambio, el lenguaje secreto de DALL-E 2 resalta preocupaciones existentes sobre la solidez, seguridad e interpretabilidad de los sistemas de aprendizaje profundo.
Hasta que estos sistemas estén más ampliamente disponibles y, en particular, hasta que los usuarios de diversos orígenes culturales que no hablan inglés puedan utilizarlos, no podremos saber realmente qué está sucediendo.
Mientras tanto, si te gustaría probar a generar algunas imágenes de IA por tu cuenta, puedes echar un vistazo a un modelo más pequeño disponible de forma gratuita, DALL-E mini. Solo ten cuidado con las palabras que uses para solicitar al modelo (en inglés o en palabras sin sentido, tú decides).
¿Qué es una caja negra de IA?
Una caja negra de IA es un sistema cuyas entradas y operaciones no son visibles para el usuario o cualquier otra parte interesada. Es un sistema impenetrable que llega a conclusiones sin proporcionar ninguna justificación sobre cómo las ha tomado.
¿Por qué es importante el problema de la caja negra de la IA?
El problema de la caja negra de la IA puede generar desconfianza e incertidumbre en las herramientas respaldadas por la IA. Además, puede dar lugar a sesgos y problemas de transparencia y responsabilidad en sectores como la atención médica, la banca y los servicios financieros, y la justicia penal.
¿Cómo se puede contrarrestar el problema de las cajas negras de la IA?
Según los expertos, se pueden tomar dos enfoques para contrarrestar el problema de las cajas negras de la IA: crear un marco regulatorio y desarrollar métodos de IA explicables que permitan comprender mejor el funcionamiento interno de estos sistemas.
La inteligencia artificial está demostrando su capacidad para aprender y utilizar un lenguaje propio, incluso en idiomas para los cuales no ha sido entrenada. Este fenómeno plantea desafíos y preguntas importantes sobre la transparencia, la interpretación y la seguridad de los sistemas de IA. Aunque el problema de las cajas negras de IA puede generar desconfianza y problemas de sesgo, la IA sigue siendo una herramienta poderosa que puede identificar patrones complejos y tomar decisiones con precisión. A medida que avanzamos en la comprensión de este fenómeno, es importante seguir desarrollando marcos regulatorios y métodos de IA explicables para garantizar que estos sistemas sean transparentes y responsables en su funcionamiento.
Si quieres conocer otras notas parecidas a Inteligencia artificial desarrolla su propio lenguaje puedes visitar la categoría Inteligencia.