“Creo que nos permite ser más considerados y reflexivos sobre los problemas de seguridad”, dice Altman. “Parte de nuestra estrategia es: un cambio gradual en el mundo es mejor que un cambio repentino”. O, como dijo la vicepresidenta de OpenAI, Mira Moratti, cuando se le preguntó sobre el trabajo del equipo de seguridad para restringir el acceso abierto al software: “Si vamos a aprender a implementar estas poderosas tecnologías, comencemos cuando hay mucho en juego”. .”
Durante el propio GPT-3 Con 285 000 núcleos de CPU en un clúster de supercomputadoras en Iowa, OpenAI opera en una fábrica de equipaje renovada en el área de la Misión de San Francisco. En noviembre del año pasado conocí a Ilya Sotskefer allí e intenté que un lego me explicara cómo funciona realmente GPT-3.
“Esa es la idea básica de GPT-3”, dijo Sotskever pensativo, inclinándose hacia adelante en su silla. Tiene una forma interesante de responder a las preguntas: algunos comienzos en falso: “Puedo darte una descripción que coincide aproximadamente con la descripción que pediste”, puntuada por largas pausas para pensar, como si estuviera grabando toda la respuesta en curso.
Finalmente dijo: “La idea básica de GPT-3 es una forma de combinar una noción intuitiva de comprensión con algo que se puede medir y comprender mecánicamente, y esa es la tarea de predecir la siguiente palabra en el texto. Otras formas de inteligencia artificial intentan codificar información sobre el mundo: las estrategias de ajedrez de los grandes maestros, los principios de la climatología. Pero la inteligencia GPT-3, si la inteligencia es la palabra para ello, viene de abajo hacia arriba: a través del verbo elemental para predecir la siguiente palabra. Para el entrenamiento de GPT-3, se le da al modelo un “indicador” (por ejemplo, algunas oraciones o fragmentos de texto de un artículo de periódico, una novela o un artículo académico) y luego se le pide que sugiera una lista de posibles palabras que podrían completarlas. la secuencia, ordenada por probabilidad. En las primeras etapas del entrenamiento, las palabras sugeridas no tienen sentido. Pregúntele al algoritmo con una oración como “El autor eliminó la última palabra de la primera palabra. . . “” y la adivinanza sería una especie de flujo sin sentido: Lista: aparece la palabra faltante correcta: “párrafo”. fortalece y debilita cualquier conexión neuronal aleatoria que generó esa sugerencia en particular. Cualquier conexión que haya generado conjeturas incorrectas. Luego vaya al siguiente enrutador. Con el tiempo, el programa aprende con suficientes iteraciones.
En enero, OpenAI agregó una función que permite a los usuarios dar instrucciones directas de GPT-3 como aviso, en lugar de simplemente pedirles que amplíen un segmento de texto de muestra. Por ejemplo, en el modo de ayuda, GPT-3 recibió una vez un mensaje: “Escriba un ensayo sobre el papel de la metaficción en la obra de Italo Calvino”. Un breve párrafo que comenzaba así:
El autor italiano Italo Calvino es considerado un experto en metaficción, un estilo de escritura en el que el autor rompe la cuarta pared para hablar sobre el acto real de escribir. Para Calvin, la metaficción es una forma de explorar la naturaleza de la realidad y las formas en que las historias pueden moldear nuestra percepción del mundo. Sus novelas a menudo involucran estructuras lúdicas y laberintos que manipulan los límites entre la realidad y la fantasía. En el caso de que el viajero se encuentre en una noche de invierno, por ejemplo, el lector es interrumpido constantemente por discusiones de metanivel sobre el acto de leer y la naturaleza de la narración. . . .
Puede enviar exactamente el mismo mensaje a GPT-3 una y otra vez, y cada vez generará una respuesta única, algunas más convincentes que otras, pero la mayoría de ellas notablemente simples. Las indicaciones indicativas pueden tomar todo tipo de formas: “Dame una lista de todos los ingredientes para la salsa boloñesa”, “Escribe un poema sobre un pueblo costero francés al estilo de John Ashbery”, “Explica el Big Bang en lenguaje a 8- niño de un año, el viejo lo entiende”. A veces, las primeras veces que administraba estímulos de GPT-3 como este, se me ponía la piel de gallina. la siguiente palabra
Pero la IA tiene una larga historia de crear la ilusión de inteligencia o comprensión sin realmente entregar los productos. En un artículo muy discutido publicado el año pasado, la profesora de lingüística de la Universidad de Washington Emily Bender, el ex investigador de Google Timnit Gebru y un grupo de coautores explicaron que los grandes modelos de lenguaje son solo “loros aleatorios”: que el programa solo usa la aleatorización. para reorganizar oraciones escritas por humanos. . Bender me dijo recientemente por correo electrónico: “Lo que ha cambiado no es un paso más allá de cierto umbral hacia la ‘inteligencia artificial’. En cambio, lo que ha cambiado es “el hardware, el software y las innovaciones económicas que permiten la acumulación y el procesamiento de grandes conjuntos de datos” y la cultura de la tecnología que “las personas que construyen y venden tales cosas pueden tener”. lejos de construirlo sobre una base de datos imprecisos.
