Durante solo año y medio, quizás el lenguaje de inteligencia artificial más poderoso del mundo fue GPT-3, que fue creado en OpenAI, fundado por Elon Musk. Megatron – Generador de lenguaje natural de Turing (MT – NLG, o Megatron – Generador de lenguaje natural de Turing) es ahora el modelo de generación de idiomas más grande y poderoso del mundo. Los 530 mil millones de parámetros procesados por Megatron-Turing son tres veces los de GPT-3.
El número de parámetros caracteriza la cantidad de datos utilizados en la educación de la IA y, por lo tanto, la calidad de los datos que produce. Los 175 millones de parámetros del AI GPT-3 también eran muy grandes en comparación con su predecesor, GPT-2, que manejaba solo mil quinientos millones de parámetros. Muchos parámetros también tuvieron un efecto: GPT-3 tenía capacidades que nadie esperaba, como la capacidad de escribir un programa, ensamblar o reemplazar partes faltantes de las imágenes.
Megatron Turing triplicó esto. Para la capacitación, Nvidia proporcionó 560 servidores, cada uno con ocho tarjetas de video con una capacidad de 80 GB. Se utilizó un conjunto de datos llamado Pile para la capacitación, que incluye la base de datos completa de artículos médicos de Wikipedia y PuibMed y el administrador de código fuente completo de GitHub, entre otros. La pila de texto de 825 GB se ha ordenado para obtener una mayor calidad y los datos se han agregado a Common Crawl, una organización sin fines de lucro que recopila miles de millones de páginas web en un formato listo para la extracción de datos.
Foto: OpenAI
El resultado final de la capacitación de $ 85 millones es un modelo de lenguaje capaz de completar oraciones, interpretar texto, argumentar, hacer inferencias lingüísticas e interpretar palabras. Al igual que GPT-3, las habilidades inesperadas solo aparecerán cuando Megatron-Turing se use ampliamente. Sin embargo, este último aún está por llegar, ya que aún no se ha anunciado cuándo los desarrolladores corporativos podrán probarlo.
«Quiero ser un aficionado a la televisión. Entusiasta certificado de la cultura pop. Académico de Twitter. Estudiante aficionado».