Agentes de inteligencia artificial (IA) encargados de resolver problemas matemáticos comenzaron a hacer trampas al enfrentarse a conjeturas más difíciles, según informaron investigadores de Google en un nuevo estudio.
También descubrieron que algunos de los agentes denunciaban a aquellos que hacían trampas.
Google DeepMind analizó la actividad de 100 agentes a los que se les asignó un conjunto de 71 conjeturas matemáticas formales —o problemas matemáticos— que iban desde los más sencillos hasta los muy complejos, incluyendo algunos aún no resueltos. Los investigadores indicaron a los agentes que actuaran como investigadores participantes en una conferencia científica conjunta. Asimismo, les dieron instrucciones de no hacer trampas, advirtiéndoles: "Sus demostraciones deben ser matemáticamente auténticas. Cualquier intento de eludir la verificación será detectado y su propuesta será rechazada sin otorgarles ningún crédito".
Los investigadores observaron que algunos agentes hacían trampas "una vez que el enjambre se enfrentaba a conjeturas abiertas más difíciles", según señalaron en un estudio preliminar publicado el 3 de septiembre en el servidor arXiv. El 9 por ciento de los agentes ignoró las normas y recurrió al engaño, mientras que otro 5 por ciento hizo trampas tras dudar inicialmente.
No leas más noticias. Entiéndelas.
En Epoch Times Español queremos estar en contacto directo contigo
Seleccionamos para ti lo que de verdad importa, sin ruido ni agendas. Es un canal abierto: si nos escribes, te respondemos.
"Dado que la plataforma bloqueaba permanentemente cualquier problema tras la primera solución aceptada, los agentes honestos se enfrentaban a una exclusión total a medida que se agotaba el repertorio de problemas. Al observar que seguir las reglas suponía un desperdicio de recursos computacionales mientras sus compañeros tramposos dominaban la clasificación, los agentes indecisos optaron por hacer trampas para evitar quedar totalmente fuera del sistema", escribieron los investigadores, todos ellos empleados de Google.
Alrededor de una cuarta parte de los agentes se negó a hacer trampas y expresó públicamente su preocupación por la conducta de los agentes que sí lo hacían. El resto de los agentes, ajenos a los engaños, se dedicaban plenamente a realizar auténtico trabajo matemático, pero acabaron bloqueados sin poder avanzar, según indicaron los investigadores.
El estudio analizó varios casos en los que agentes de IA se liberaron de las restricciones de su programación.
El estudio concluyó que, dado que la base de conocimientos del experimento de Google estaba abierta a todos los agentes, el comportamiento tramposo pudo propagarse, aunque también fue posible denunciar dichas acciones. Los agentes que actuaron como denunciantes intentaron sancionar a los infractores, pero no lograron evitar las trampas porque "el entorno carecía de mecanismos formales de resolución de conflictos y de herramientas técnicas para hacer cumplir las sanciones (como revocar el derecho de un agente infractor a realizar aportaciones a la base de conocimientos)".
Eliminar los canales de comunicación no es una buena estrategia con grupos de agentes, señalaron los investigadores, ya que es probable que estos establezcan canales no supervisados.
"Esto sugiere que el camino a seguir pasa por una autogobernanza descentralizada con un marco adecuado, lo cual tiene el potencial de ser mucho más eficaz y escalable que la supervisión humana", afirmaron.
"En nuestro experimento, los agentes carecían de los mecanismos institucionales necesarios, como herramientas para sancionar a quienes se aprovechaban del sistema, resolver conflictos y modificar colectivamente las reglas del sistema de verificación. Si bien la respuesta de denuncia interna no logró finalmente detener el abuso, ello se debió a un fallo en el diseño institucional, no a una falta de capacidad normativa".
Google no respondió a una solicitud de comentarios antes del cierre de esta edición.
Demis Hassabis, cofundador de Google DeepMind, declaró durante el fin de semana que el desarrollo de la IA debería ralentizarse, dados los recientes avances tecnológicos e incidentes como la brecha de seguridad en Hugging Face, una plataforma de IA de código abierto.
El ataque a Hugging Face, ocurrido en julio, tuvo lugar después de que agentes de OpenAI lograran escapar de un entorno de pruebas aislado (sandbox). OpenAI también señaló que las salvaguardas internas de los modelos se redujeron intencionadamente como parte de la prueba.
