En los últimos diez años, los sistemas de inteligencia artificial (IA) han avanzado a gran velocidad. Desde el hito de vencer a un legendario jugador en el complejo juego del Go en 2016, la IA ahora es capaz de reconocer imágenes y voz mejor que los humanos, y superar pruebas como exámenes de escuelas de negocios y preguntas de entrevistas de codificación de Amazon.
La semana pasada, durante una audiencia del Comité Judicial del Senado de Estados Unidos sobre la regulación de la IA, el senador Richard Blumenthal de Connecticut describió la reacción de sus electores ante los recientes avances en la IA. la palabra que se ha utilizado repetidamente es aterradora.
Por qué la IA avanza tan rápido
El Subcomité de Privacidad, Tecnología y Derecho que supervisó la reunión escuchó testimonios de tres expertos, quienes destacaron el ritmo de progreso de la IA. Uno de esos testigos, Dario Amodei, CEO de la destacada compañía de IA Anthropic, dijo que lo más importante que hay que entender sobre la ia es lo rápido que está avanzando.
Se suele pensar que el progreso científico y tecnológico es fundamentalmente impredecible y está impulsado por destellos de intuición que son más claros a posteriori. Pero el progreso en las capacidades de los sistemas de IA está impulsado predeciblemente por el progreso en tres factores: cálculo, datos y algoritmos. Gran parte del progreso de los últimos 70 años ha sido resultado de que los investigadores entrenen sus sistemas de IA utilizando una mayor potencia de procesamiento computacional, a menudo denominada cálculo, alimentando a los sistemas con más datos o ideando trucos algorítmicos que disminuyan efectivamente la cantidad de cálculos o datos necesarios para obtener los mismos resultados. Comprender cómo estos tres factores han impulsado el progreso de la IA en el pasado es clave para entender por qué la mayoría de las personas que trabajan en IA no esperan que el progreso se desacelere en el corto plazo.
El cálculo
La primera red neuronal artificial, Perceptron Mark I, se desarrolló en 1957 y podía aprender a distinguir si una tarjeta estaba marcada en el lado izquierdo o derecho. Tenía 1,000 neuronas artificiales y entrenarla requería alrededor de 700,000 operaciones. Más de 65 años después, OpenAI lanzó el modelo de lenguaje grande GPT-Se estima que el entrenamiento de GPT-4 requirió 21 septillones de operaciones.
Aumentar el cálculo permite que los sistemas de IA ingieran una mayor cantidad de datos, lo que significa que el sistema tiene más ejemplos de los cuales aprender. Más cálculos también permiten que el sistema modele la relación entre las variables en los datos con mayor detalle, lo que significa que puede llegar a conclusiones más precisas y nuanciadas a partir de los ejemplos que se le muestran.
Desde 1965, la Ley de Moore, la observación de que el número de transistores en un circuito integrado se duplica aproximadamente cada dos años, ha significado que el precio del cálculo ha ido disminuyendo constantemente. Si bien esto significaba que la cantidad de cálculos utilizados para entrenar sistemas de IA aumentaba, según Jaime Sevilla, director de Epoch, una organización de investigación, los investigadores se centraban más en desarrollar nuevas técnicas para construir sistemas de IA en lugar de centrarse en la cantidad de cálculos utilizados para entrenar esos sistemas.
Esto cambió alrededor de 2010, según Sevilla. las personas se dieron cuenta de que si entrenaras modelos más grandes, en realidad no obtendrías rendimientos decrecientes, que era la opinión comúnmente aceptada en ese momento.
Desde entonces, los desarrolladores han estado gastando cantidades cada vez mayores de dinero para entrenar modelos a gran escala. El entrenamiento de sistemas de IA requiere chips especializados costosos. Los desarrolladores de IA construyen su propia infraestructura informática o pagan a proveedores de servicios de computación en la nube por acceso a la suya. Sam Altman, CEO de OpenAI, ha dicho que GPT-4 costó más de $100 millones para entrenar. Este aumento en el gasto, combinado con la continua disminución en el costo del aumento del cálculo como resultado de la Ley de Moore, ha llevado a que los modelos de IA se entrenen utilizando una gran cantidad de cálculos.
OpenAI y Anthropic, dos de las principales empresas de IA, han recaudado miles de millones de dólares de inversores para pagar el cálculo que utilizan para entrenar sistemas de IA, y cada una tiene asociaciones con gigantes tecnológicos que tienen bolsillos profundos: OpenAI con Microsoft y Anthropic con Google.
Datos
Los sistemas de IA funcionan construyendo modelos de las relaciones entre variables en sus datos de entrenamiento, ya sea la probabilidad de que la palabra casa aparezca junto a la palabra correr o patrones en cómo la secuencia de genes se relaciona con el plegamiento de proteínas, el proceso por el cual una proteína adquiere su forma tridimensional, lo que luego define su función.
En general, un mayor número de puntos de datos significa que los sistemas de IA tienen más información con la cual construir un modelo preciso de la relación entre las variables en los datos, lo que mejora el rendimiento. Por ejemplo, un modelo de lenguaje que recibe más texto tendrá un mayor número de ejemplos de frases en las que correr sigue a casa ; en frases que describen juegos de béisbol o éxitos enfáticos, esta secuencia de palabras es más probable.
El artículo original sobre Perceptron Mark I dice que se entrenó con solo seis puntos de datos. En comparación, LlaMa, un modelo de lenguaje grande desarrollado por investigadores de Meta y lanzado en 2023, se entrenó con alrededor de mil millones de puntos de datos, un aumento de más de 160 millones de veces desde Perceptron Mark I. En el caso de LlaMa, los puntos de datos eran texto recopilado de diversas fuentes, incluyendo un 67% de datos de Common Crawl (una organización sin fines de lucro que recopila información de internet y la pone a disposición de forma gratuita), un 5% de datos de GitHub (un servicio de internet utilizado por desarrolladores de software) y un 5% de datos de Wikipedia.
Algoritmos
Los algoritmos, conjuntos de reglas o instrucciones que definen una secuencia de operaciones a realizar, determinan cómo exactamente los sistemas de IA utilizan la potencia computacional para modelar las relaciones entre las variables en los datos que se les proporcionan. Además de simplemente entrenar sistemas de IA con una mayor cantidad de datos utilizando una mayor cantidad de cálculos, los desarrolladores de IA han estado encontrando formas de obtener más con menos. La investigación de Epoch encontró que cada nueve meses, la introducción de mejores algoritmos contribuye al equivalente de duplicar los presupuestos de cálculo.
La siguiente fase del progreso de la IA
Según Sevilla, es probable que la cantidad de cálculos que los desarrolladores de IA utilizan para entrenar sus sistemas continúe aumentando a su ritmo acelerado actual durante un tiempo, con empresas que aumentan la cantidad de dinero que gastan en cada sistema de IA que entrenan y con una mayor eficiencia a medida que el precio del cálculo continúa disminuyendo constantemente. Sevilla predice que esto continuará hasta que en algún momento ya no valga la pena seguir gastando más dinero, cuando aumentar la cantidad de cálculos solo mejore ligeramente el rendimiento. Después de eso, la cantidad de cálculos utilizados seguirá aumentando, pero a un ritmo más lento debido únicamente al costo del cálculo que disminuye como resultado de la Ley de Moore.
Los datos que alimentan los sistemas de IA modernos, como LlaMa, se obtienen de internet. Históricamente, el factor que limitaba la cantidad de datos que se alimentaba a los sistemas de IA era tener suficiente cálculo para procesar esos datos. Pero la reciente explosión en la cantidad de datos utilizados para entrenar sistemas de IA ha superado la producción de nuevos datos de texto en internet, lo que ha llevado a los investigadores de Epoch a predecir que los desarrolladores de IA se quedarán sin datos de lenguaje de alta calidad para 202
Aquellos que desarrollan sistemas de IA tienden a estar menos preocupados por este problema. En una aparición en el podcast de Lunar Society en marzo, Ilya Sutskever, científico jefe de OpenAI, dijo que la situación de los datos sigue siendo bastante buena. aún hay mucho por hacer. En una aparición en el podcast Hard Fork en julio, Dario Amodei estimó que hay tal vez un 10% de posibilidades de que este escalamiento se vea interrumpido por la incapacidad de recopilar suficientes datos.
Sevilla también tiene confianza en que la escasez de datos no evitará futuras mejoras en la IA, por ejemplo, encontrando formas de utilizar datos de lenguaje de baja calidad, porque a diferencia del cálculo, la falta de datos no ha sido un cuello de botella para el progreso de la IA antes. Espera que haya muchas oportunidades de innovación que los desarrolladores de IA probablemente descubrirán para abordar este problema.
Según Sevilla, es probable que el progreso algorítmico continúe actuando como un potenciador de la cantidad de cálculo y datos utilizados para entrenar sistemas de IA. Hasta ahora, la mayoría de las mejoras han provenido de utilizar el cálculo de manera más eficiente. Epoch encontró que más de tres cuartos del progreso algorítmico en el pasado se ha utilizado para compensar deficiencias en el cálculo. Si en el futuro, a medida que los datos se conviertan en un obstáculo para el progreso en el entrenamiento de IA, es posible que más del progreso algorítmico se centre en compensar las deficiencias en los datos.
Juntando las tres piezas, los expertos, incluido Sevilla, esperan que el progreso de la IA continúe a toda velocidad al menos durante los próximos años. El cálculo seguirá aumentando a medida que las empresas gasten más dinero y la tecnología subyacente se vuelva más barata. Se utilizarán los datos útiles restantes en internet para entrenar modelos de IA y los investigadores seguirán encontrando formas de entrenar y ejecutar sistemas de IA que hagan un uso más eficiente del cálculo y los datos. La continuación de estas tendencias decenales es la razón por la cual los expertos creen que la IA seguirá siendo más capaz.
Preocupaciones sobre el avance de la IA
Esto tiene a muchos expertos preocupados. Durante la audiencia del Comité del Senado, Amodei dijo que si el progreso continúa al mismo ritmo, una amplia gama de personas podría tener acceso a conocimientos científicos que incluso los expertos actuales no tienen en los próximos dos o tres años utilizando sistemas de IA. Esto podría aumentar la cantidad de personas que pueden causar estragos, dijo. en particular, me preocupa que los sistemas de ia puedan ser utilizados a gran escala en los campos de la ciberseguridad, la tecnología nuclear, la química y especialmente la biología.
Si quieres conocer otras notas parecidas a La inteligencia artificial y su rápido avance: una mirada al futuro puedes visitar la categoría Inteligencia artificial.