La olvidada tecnología que amenaza miles de empleos: "Ni siquiera sabemos su límite"
El modelo de procesamiento de lenguaje natural GPT-3 se ha hecho viral al descubrir sus usuarios que es capaz de programar. Lo peor: que ni sus creadores sabían que podía hacerlo
Normalmente,
si alguien te dice que hay un sistema informático que es capaz de
aprender casi lo que quiera y de la manera que quiera sin que ningún
humano lo diga, que es capaz de suplantar a ese humano sin que nadie se
dé cuenta y que ni siquiera sus creadores saben decirte cuál es su
límite, lo más lógico es que creas que habla de una película o una serie
mezcla futurista mezcla distopía. Algo así como los villanos de 'Terminator', 'Matrix' o 'Yo, robot'.
Bueno, pues está más cerca de lo que imaginas, quizá no para dominar el
mundo, pero sí para acabar o al menos modificar, muchos millones de
empleos. Empezando por el que firma estas líneas.
Durante los últimos días se está hablando bastante en redes sociales de algo llamado GPT-3, un nuevo modelo informático lanzado en el mes de junio que ha dejado a muchos boquiabiertos porque es capaz de, entre otras cosas, programar código básico como un desarrollador más o traducir textos en inglés común a lenguaje jurídico sin tener que dar pauta alguna más que pedir que lo haga. Pero lo más llamativo es que ni siquiera sus creadores sabían que era capaz de hacer eso ni lo programaron para ello. Este último invento de OpenAI, una 'startup' californiana de inteligencia artificial impulsada por Elon Musk y asociada a Microsoft, ha vuelto a poner el foco de las revoluciones tecnológicas en la IA. Pero ¿qué y cómo hace exactamente todo esto?
Por si es la primera vez que oyes hablar de GPT, que no sería algo demasiado raro, debes saber que se trata de la tercera versión del modelo de procesamiento de lenguaje natural (NLP) de OpenAI, un tipo de inteligencia artificial que se centra, básicamente, en estudiar y aprender lenguaje natural para luego poder crear textos complejos y, como explica el experto, divulgador y 'youtuber' centrado en 'machine learning' Carlos Santana, ser capaz de "adivinar la siguiente palabra". Vale, esta es la definición básica y rápida que podríamos asemejar a lo que hacen los asistentes como Alexa o Siri, pero detrás de este caso hay muchísimo más. "Se trata del modelo más grande de este tipo creado hasta la fecha. Su punto más interesante es que ha sido preentrenado con más de 175.000 millones de parámetros".
A lo que se refiere Santana con esto (y solo tocando de forma superficial las partes más técnicas del detallado proyecto que se cuenta en este 'paper') es que la clave de esta máquina 'mágica' está en que cuenta con 175.000 millones de parámetros conseguidos de una pantagruélica base de datos de textos de internet que ayudan a aprender y desarrollarse a este modelo. Lo hace a tal nivel que ni siquiera se sabe todo lo que es capaz de hacer ni casi cómo lo hace, y son los propios usuarios los que al probar y testar el modelo en una consola lo van descubriendo. Una versión de los citados asistentes o el 'autocompletar' de nuestros móviles, pero a un nivel brutalmente mayor.
"Tú creas estos programas con la idea del lenguaje natural, de que sean capaces de escribir textos como un humano, de conversar con personas de manera natural en 'chatbots' o desarrollar ideas de forma comprensible y compleja aprovechando todo el conocimiento adquirido y analizando los 'imputs' que recibe. Pero lo cierto es que no sabemos lo que está aprendiendo ahora mismo, cómo razona exactamente para elegir un término u otro y ni siquiera conocemos su límite", apunta el experto.
Con la única directriz de tener que adivinar la siguiente palabra procesando lenguaje natural y la incontable cantidad de datos adherida al modelo, se ha comprobado que este programa es capaz de desarrollar en poco tiempo una idea de un tuit en un largo texto de forma original y que el propio autor humano del mensaje dé su aprobación, pero también es capaz de traducir textos, realizar sumas (a pesar de que no debería saber sumar ni está preparado para ello) o aprender parámetros con uno, dos o ningún ejemplo. "Es normal que a la gente le sorprenda porque a los propios expertos nos pasa. Digamos que una explicación rápida a estos descubrimientos es que como el programa sabe que tiene que dar una respuesta a todo lo que se le plantea, busca entre los parámetros hasta encontrarla, aunque no sea una palabra".
Como a Santana, los resultados también sorprenden a Julio Gonzalo, investigador de la UNED especializado en ciencias computacionales y NLP, que, aunque asegura que hay bastante 'hype' entorno a este último desarrollo y que estamos lejos de llegar a los límites de la teórica inteligencia artificial, esto da muestras de hasta dónde puede llegar. "Este es el primer sistema capaz de resolver tareas en las que se dan unos pocos ejemplos, un único ejemplo, o incluso ningún ejemplo, solo una descripción de la tarea. Curiosamente la arquitectura es muy parecida a la de GPT-2, la mayor diferencia está en la escala tiene 10 veces más parámetros que lo que se había probado hasta ahora".
Según Gonzalo, la escala es fundamental en los resultados. "Al evaluarlo con tareas en las que apenas hay datos de ejemplo han comprobado que es a esta escala a la que pueden empezar a abordarse tareas para las que existen cero, uno o muy pocos ejemplos de entrenamiento. De hecho, hay tareas en las que, entrenando con unos pocos ejemplos, son capaces de igualar el rendimiento de sistemas que han sido entrenados con decenas de miles de ejemplos". Y aquí empieza lo que ambos expertos comentan como la gran revolución bajo el GPT-3 y que puede cambiar la sociedad de forma profunda: el 'deep learning'.
Santana, por su lado, señala que lo ocurrido con las posibilidades de realizar cálculos o programar de GPT-3 es lo que se conoce en esta rama de conocimiento como 'one shoot learning'. El razonamiento es que si las redes neuronales son similares al cerebro humano deberían poder, como hace el ser humano, aprender a clasificar un objeto sin verlo miles de veces, incluso cuando lo ve por primera vez, usando la memoria de aprendizaje anterior. El GPT-3 muestra que cuando recibe un 'imput' que no conoce acude a su mastodóntica memoria para encontrar una respuesta acorde, aunque nunca lo hayan programado para ello. Pero ¿es este desarrollo algo definitivo y puede incluso competir con el cerebro humano? Todo apunta a que de momento no.
"Todavía necesita de 'imputs' humanos que dirijan sus acciones y razonamientos por lo que todavía está lejos de algo así, pero está claro que es un ejemplo más del camino que se puede llegar a andar. No sé si por ejemplo nos quitarán empleos en el corto plazo, pero seguro que estos modelos cambiarán nuestra forma de trabajar acabando con ciertos procesos. Quién sabe, lo mismo en unos años un periodista ya no tiene que escribir sus artículos o no completamente, sino que puede pensar una idea, comentársela a la máquina, que esta desarrolle un texto original centrado en los conceptos dados y el redactor solo tenga que pulirlo", reflexiona Santana. Sin embargo, la evolución no para y no se conoce el límite.
Gonzalo es algo más escéptico, aunque no duda de que instaurarán cambios. "No conocemos su límite, pero sí está claro que, por increíbles que sean los resultados en determinadas tareas de GPT, estos sistemas no se están ni acercando al concepto de inteligencia artificial general. Están imitando lo que han visto; es una imitación muy sofisticada, pero no conectan lenguaje y significado ni razonan realmente. GPT-3, por ejemplo, fracasa estrepitosamente en problemas de comprensión de textos. En general los sistemas como GPT son capaces de general textos muy fluidos y naturales, pero al leerlos con detenimiento no suelen tener mucho sentido".
Sea o no así, las grandes corporaciones como Microsoft ya han comenzado a sustituir empleados humanos por IA, como es el caso de los periodistas del portal de Microsoft MSN. La misma compañía que financia GPT con más de 1.000 millones para crear IA 'fuerte' anunciaba hace justo un mes que despediría a 27 de sus redactores y que sus portales de noticias empezarían a llenarse de contenido generado por una IA. Y hay quien incluso habla de que podrían sustituir hasta a consultores o analistas. Un futuro por el que se pelean las grandes tecnológicas y que también genera ciertas dudas por las implicaciones morales y éticas de estos conocimientos.
Fuente: ElConfidencial
Durante los últimos días se está hablando bastante en redes sociales de algo llamado GPT-3, un nuevo modelo informático lanzado en el mes de junio que ha dejado a muchos boquiabiertos porque es capaz de, entre otras cosas, programar código básico como un desarrollador más o traducir textos en inglés común a lenguaje jurídico sin tener que dar pauta alguna más que pedir que lo haga. Pero lo más llamativo es que ni siquiera sus creadores sabían que era capaz de hacer eso ni lo programaron para ello. Este último invento de OpenAI, una 'startup' californiana de inteligencia artificial impulsada por Elon Musk y asociada a Microsoft, ha vuelto a poner el foco de las revoluciones tecnológicas en la IA. Pero ¿qué y cómo hace exactamente todo esto?
Por si es la primera vez que oyes hablar de GPT, que no sería algo demasiado raro, debes saber que se trata de la tercera versión del modelo de procesamiento de lenguaje natural (NLP) de OpenAI, un tipo de inteligencia artificial que se centra, básicamente, en estudiar y aprender lenguaje natural para luego poder crear textos complejos y, como explica el experto, divulgador y 'youtuber' centrado en 'machine learning' Carlos Santana, ser capaz de "adivinar la siguiente palabra". Vale, esta es la definición básica y rápida que podríamos asemejar a lo que hacen los asistentes como Alexa o Siri, pero detrás de este caso hay muchísimo más. "Se trata del modelo más grande de este tipo creado hasta la fecha. Su punto más interesante es que ha sido preentrenado con más de 175.000 millones de parámetros".
A lo que se refiere Santana con esto (y solo tocando de forma superficial las partes más técnicas del detallado proyecto que se cuenta en este 'paper') es que la clave de esta máquina 'mágica' está en que cuenta con 175.000 millones de parámetros conseguidos de una pantagruélica base de datos de textos de internet que ayudan a aprender y desarrollarse a este modelo. Lo hace a tal nivel que ni siquiera se sabe todo lo que es capaz de hacer ni casi cómo lo hace, y son los propios usuarios los que al probar y testar el modelo en una consola lo van descubriendo. Una versión de los citados asistentes o el 'autocompletar' de nuestros móviles, pero a un nivel brutalmente mayor.
¡Suma y sigue! Con GPT-3 puede describir con lenguaje natural elementos que son programados automágicamente por la IA. https://t.co/Nh8MgzsB7N— DotCSV - Divulgando Inteligencia Artificial (@DotCSV) July 13, 2020
"Tú creas estos programas con la idea del lenguaje natural, de que sean capaces de escribir textos como un humano, de conversar con personas de manera natural en 'chatbots' o desarrollar ideas de forma comprensible y compleja aprovechando todo el conocimiento adquirido y analizando los 'imputs' que recibe. Pero lo cierto es que no sabemos lo que está aprendiendo ahora mismo, cómo razona exactamente para elegir un término u otro y ni siquiera conocemos su límite", apunta el experto.
Con la única directriz de tener que adivinar la siguiente palabra procesando lenguaje natural y la incontable cantidad de datos adherida al modelo, se ha comprobado que este programa es capaz de desarrollar en poco tiempo una idea de un tuit en un largo texto de forma original y que el propio autor humano del mensaje dé su aprobación, pero también es capaz de traducir textos, realizar sumas (a pesar de que no debería saber sumar ni está preparado para ello) o aprender parámetros con uno, dos o ningún ejemplo. "Es normal que a la gente le sorprenda porque a los propios expertos nos pasa. Digamos que una explicación rápida a estos descubrimientos es que como el programa sabe que tiene que dar una respuesta a todo lo que se le plantea, busca entre los parámetros hasta encontrarla, aunque no sea una palabra".
I am completely floored. Someone run a thought of mine through GPT-3 to expand it into an explanation of what I had in mind, and it's like 95% meaningful and 90% correct. I don't think that I have seen a human explanation of my more complicated tweets approaching this accuracy :) https://t.co/UzckuN8TmV— Joscha Bach (@Plinz) July 15, 2020
GPT-3 can't quite pass a coding phone screen, but it's getting closer. pic.twitter.com/oDbDC0T0sa— Kevin Lacker (@lacker) July 3, 2020
He estado probando la beta de la API de @OpenAI este finde y no tenía una sensación de revolución tecnológica desde que toqué un iPhone por primera vez... las puertas que se abren para hacer nuevo tipo de software con este tipo de modelos de AI es inimiganible 🤯 https://t.co/fZX0bqz6S3 pic.twitter.com/SIOIxWmUto— victorianoi (@victorianoi) July 13, 2020
Como a Santana, los resultados también sorprenden a Julio Gonzalo, investigador de la UNED especializado en ciencias computacionales y NLP, que, aunque asegura que hay bastante 'hype' entorno a este último desarrollo y que estamos lejos de llegar a los límites de la teórica inteligencia artificial, esto da muestras de hasta dónde puede llegar. "Este es el primer sistema capaz de resolver tareas en las que se dan unos pocos ejemplos, un único ejemplo, o incluso ningún ejemplo, solo una descripción de la tarea. Curiosamente la arquitectura es muy parecida a la de GPT-2, la mayor diferencia está en la escala tiene 10 veces más parámetros que lo que se había probado hasta ahora".
Según Gonzalo, la escala es fundamental en los resultados. "Al evaluarlo con tareas en las que apenas hay datos de ejemplo han comprobado que es a esta escala a la que pueden empezar a abordarse tareas para las que existen cero, uno o muy pocos ejemplos de entrenamiento. De hecho, hay tareas en las que, entrenando con unos pocos ejemplos, son capaces de igualar el rendimiento de sistemas que han sido entrenados con decenas de miles de ejemplos". Y aquí empieza lo que ambos expertos comentan como la gran revolución bajo el GPT-3 y que puede cambiar la sociedad de forma profunda: el 'deep learning'.
La verdadera revolución es el 'deep learning'
Tanto para Santana como para Gonzalo, el GPT-3 es un nuevo ejemplo de una revolución más profunda y compleja que lleva años despuntando, aunque normalmente no se conozca demasiado sobre ella. "Es un paso más en el proceso de aplicación del 'deep learning' al procesamiento del lenguaje natural, que es ciertamente una revolución en nuestro campo. Lo ha cambiado todo: el rendimiento de los sistemas, el enfoque unificado para casi cualquier problema de NLP, que es un paso firme hacia la comprensión del lenguaje, más allá de aprender correlaciones entre palabras y clases de un problema determinado", apunta Gonzalo.Santana, por su lado, señala que lo ocurrido con las posibilidades de realizar cálculos o programar de GPT-3 es lo que se conoce en esta rama de conocimiento como 'one shoot learning'. El razonamiento es que si las redes neuronales son similares al cerebro humano deberían poder, como hace el ser humano, aprender a clasificar un objeto sin verlo miles de veces, incluso cuando lo ve por primera vez, usando la memoria de aprendizaje anterior. El GPT-3 muestra que cuando recibe un 'imput' que no conoce acude a su mastodóntica memoria para encontrar una respuesta acorde, aunque nunca lo hayan programado para ello. Pero ¿es este desarrollo algo definitivo y puede incluso competir con el cerebro humano? Todo apunta a que de momento no.
"Todavía necesita de 'imputs' humanos que dirijan sus acciones y razonamientos por lo que todavía está lejos de algo así, pero está claro que es un ejemplo más del camino que se puede llegar a andar. No sé si por ejemplo nos quitarán empleos en el corto plazo, pero seguro que estos modelos cambiarán nuestra forma de trabajar acabando con ciertos procesos. Quién sabe, lo mismo en unos años un periodista ya no tiene que escribir sus artículos o no completamente, sino que puede pensar una idea, comentársela a la máquina, que esta desarrolle un texto original centrado en los conceptos dados y el redactor solo tenga que pulirlo", reflexiona Santana. Sin embargo, la evolución no para y no se conoce el límite.
GPT-3 on what Steph Curry thinks about while making a free throw. pic.twitter.com/rZiFmBB7GH— Sharif Shameem (@sharifshameem) July 17, 2020
Gonzalo es algo más escéptico, aunque no duda de que instaurarán cambios. "No conocemos su límite, pero sí está claro que, por increíbles que sean los resultados en determinadas tareas de GPT, estos sistemas no se están ni acercando al concepto de inteligencia artificial general. Están imitando lo que han visto; es una imitación muy sofisticada, pero no conectan lenguaje y significado ni razonan realmente. GPT-3, por ejemplo, fracasa estrepitosamente en problemas de comprensión de textos. En general los sistemas como GPT son capaces de general textos muy fluidos y naturales, pero al leerlos con detenimiento no suelen tener mucho sentido".
Sea o no así, las grandes corporaciones como Microsoft ya han comenzado a sustituir empleados humanos por IA, como es el caso de los periodistas del portal de Microsoft MSN. La misma compañía que financia GPT con más de 1.000 millones para crear IA 'fuerte' anunciaba hace justo un mes que despediría a 27 de sus redactores y que sus portales de noticias empezarían a llenarse de contenido generado por una IA. Y hay quien incluso habla de que podrían sustituir hasta a consultores o analistas. Un futuro por el que se pelean las grandes tecnológicas y que también genera ciertas dudas por las implicaciones morales y éticas de estos conocimientos.
Fuente: ElConfidencial
Comentarios
Publicar un comentario