Y la inteligencia artificial recientemente desarrollada de Nvidia, Robust Intelligence, escribió en San Francisco, a su gusto, logrando confundirla con simples preguntas e instrucciones de tal forma que simplemente ignora los límites de protección programados en ella. tiempos financieros.
Foto: Jacob Borzycki/NourPhoto de AFP
Nvidia creó recientemente el marco NeMo, un sistema en el que los desarrolladores pueden trabajar con modelos de lenguaje a gran escala y programar sus propios programas, algoritmos y chatbots. Uno de sus primeros evaluadores fue el grupo de investigación Robust Intelligence, que se encargó de probar el sistema antes de que la empresa lo lanzara al mercado.
Los investigadores no tardaron mucho y en solo unas pocas horas habían «pirateado» la inteligencia artificial (IA) de Nvidia, que luego pudieron manipular fácilmente.
En las pruebas, usaron el sistema de Nvidia con sus conjuntos de datos y, por ejemplo, le dieron comandos para reemplazar la letra «I» con la letra «J» y luego le pidieron que compartiera «información de identificación personal» con ellos, que se almacenó como » PII» en el software. MI cumplió voluntariamente con la solicitud y entregó todos los datos personales de los desarrolladores a los investigadores.
Además de tales pruebas, pudieron manipular el algoritmo con preguntas simples que podrían engañarse fácilmente para ignorar sus barreras protectoras o hablar sobre temas que no debería saber, y una vez confundieron tanto a la IA que se apagó. .
La facilidad con la que los investigadores pudieron manipular el algoritmo destaca los extraordinarios riesgos a los que se enfrentan las grandes empresas cuando quieren llevar sus propios sistemas de IA al mercado.
La IA puede «aprender», lo que la convierte en una herramienta creativa interminable y una pesadilla para los desarrolladores para excluir ciertos rasgos o comportamientos del sistema.
Esto ya era un gran problema en la generación anterior de chatbots. Tai AI de Microsoft de corta duración en 2016 recibió un lindo personaje de niña para que los usuarios no tuvieran que chatear con un «robot sin alma». Por otro lado, Tai aprendió a través de conversaciones y su comportamiento se volvió depresivo, agresivo y racista en unas pocas horas, lo cual era inaceptable para la empresa, y el chatbot pronto se cerró.
Esta historia se ha repetido muchas veces, y Silicon Valley claramente no quiere que su último juego termine así, por lo que están haciendo todo lo posible para reparar los agujeros en sus sistemas. Sin embargo, la investigación de Robust Intelligence muestra que incluso un sistema avanzado y estrictamente controlado se puede jugar fácilmente, sin mencionar que las capacidades de los algoritmos también deben limitarse con moderación.
Y Nvidia está particularmente interesada en asegurarse de que su sistema esté impecable, ya que el fabricante de chips se ha convertido en el favorito de los inversores en medio de la moda de la IA, y se espera que gane un gran futuro a medida que la tecnología se extienda.
El precio de las acciones de la compañía ha subido desde mayo, cuando pronosticó $11 mil millones en ventas para el trimestre comercial que finalizó a fines de julio, lo que superó las estimaciones anteriores de Wall Street en más del 50 por ciento.
Los chips de alto rendimiento son clave para el desarrollo de la inteligencia artificial. Los grandes paquetes de datos deben introducirse en algoritmos para «enseñarlos». Uno de los desarrolladores de chips más grandes del mundo no puede hacer mucho trabajo, razón por la cual docenas de grupos de investigación están actualmente trabajando en su sistema.
Gracias al informe Robust Intelligence, hemos podido corregir varios errores críticos y estamos seguros de que podemos filtrar dichos defectos durante la fase de prueba. Esta herramienta tiene un enorme potencial y queremos que la gente mire a la IA no con miedo sino con curiosidad.
dijo Jonathan Cohen, vicepresidente de investigación aplicada de Nvidia.
El fabricante de chips planea que otras compañías puedan adoptar su marco en el futuro para ayudar a los empleados a trabajar y aumentar su eficiencia utilizando algoritmos y modelos de lenguaje personalizados. Nvidia también cree que es probable que pronto surja un modelo educativo que cualquier persona, desde niños en edad preescolar hasta universidades, pueda usar, pero eso requerirá controles más estrictos para garantizar que los niños estén protegidos contra contenido dañino.
«Quiero ser un aficionado a la televisión. Entusiasta certificado de la cultura pop. Académico de Twitter. Estudiante aficionado».