¿Qué es el GPT-3?

De entre todas las aplicaciones de la Inteligencia Artificial, unas de las que ha tenido más impacto, son las referentes al Procesamiento del Lenguaje Natural. Particularmente, en los últimos meses una aplicación que llamo mucho la atención en el mundo de la programación ha sido GitHub Copilot.

 GitHub Copilot es una herramienta que da sugerencias de código para completar un programa, ya sea desde líneas de código hasta funciones completas. Esto ha causado mucha emoción porque permite agilizar los tiempos de desarrollos de programas.

 Esta herramienta de Copilot, aunque no lo parezca, está basado en Procesamiento de Lenguaje Natural. En particular, esta basado en un modelo de lenguaje llamado GPT-3 creado por a organización OpenAI. Un modelo de lenguaje, entre otras cosas, se puede utilizar para predecir qué es lo siguiente que viene en función de los datos previos. Es similar a un sistema de autocompletado como los que podemos encontrar en los celulares. En el caso de GPT-3, éste tiene un mayor alcance, por ejemplo, escribir dos o tres frases de un artículo y GPT-3 se encargará de escribir el resto del artículo. También puedes generar conversaciones y las respuestas estarán basadas en el contexto de las preguntas y respuestas anteriores.

 Para que GPT-3 pueda realizar esas tareas, fue entrenado con millones de páginas web, libros, sitios de Wikipedia, entre otras fuentes de texto. Tras leer toda esta información y analizarla, el modelo de lenguaje tiene un tamaño de 700 GB ubicado en 48 GPUs de 16 GB cada una de ellas. Para ponerlo en contexto, el año pasado OpenAI publicó GPT-2 con un peso de 40 GB y analizando 45 millones de páginas web. Mientras que GPT-2 tenía 1.500 millones de parámetros, GPT-3 tiene 175.000 millones de parámetros.

 Con este modelo es que algunos programadores, especialistas en NLP y entuasiastas de la Inteligencia Artificial se comenzó a mostrar de qué es capaz esta plataforma capaz de generar contenido con tan sólo darle órdenes en inglés y de forma comprensible por cualquiera. Por ejemplo, "crea una web con siete botones con los colores del arcoíris" generará exactamente el código HTML de una web con siete botones de diferentes colores. Esto es en esencia la base de GitHub Copilot.

 ¿Qué otras cosas crees que este modelo de lenguaje pueda realizar?

 PhD. Alejandro Maldonado.