Un grupo de expertos de OpenAI está denunciando lo que dicen es una cultura de imprudencia y secretismo dentro de la empresa de inteligencia artificial de San Francisco, que se esfuerza por construir los sistemas de IA más potentes jamás creados.
El grupo, que incluye a nueve empleados actuales y anteriores de OpenAI, se ha unido en los últimos días en torno a preocupaciones compartidas de que la empresa no ha hecho lo suficiente para evitar que sus sistemas de IA se vuelvan peligrosos.
Los miembros dicen que OpenAI, que comenzó como un laboratorio de investigación sin fines de lucro y se hizo público con el lanzamiento de ChatGPT en 2022, está priorizando las ganancias y el crecimiento en su intento de construir inteligencia artificial general, o AGI, el término industrial para una computadora. programa capaz de hacer cualquier cosa que un humano pueda hacer.
También afirman que OpenAI utilizó tácticas duras para evitar que los trabajadores expresaran preocupaciones sobre la tecnología, incluidos acuerdos restrictivos de no menosprecio que los empleados salientes debían firmar.
«OpenAI está realmente entusiasmado con la creación de AGI y se están apresurando imprudentemente por ser los primeros», dijo Daniel Kokotajlo, ex investigador de la división de gobernanza de OpenAI y uno de los organizadores del grupo.
El grupo publicó una carta abierta el martes pidiendo a las principales empresas de inteligencia artificial, incluida OpenAI, que establezcan una mayor transparencia y más protección para los denunciantes.
Otros miembros incluyen a William Saunders, un ingeniero de investigación que dejó OpenAI en febrero, y otros tres ex empleados de OpenAI: Carroll Wainwright, Jacob Hilton y Daniel Ziegler. Varios empleados actuales de OpenAI aprobaron la carta de forma anónima porque temían represalias por parte de la empresa, dijo Kokotajlo. También firmó un empleado actual y anterior de Google DeepMind, el laboratorio central de inteligencia artificial de Google.
Lindsey Held, portavoz de OpenAI, dijo en un comunicado: “Estamos orgullosos de nuestro historial en la entrega de los mejores y más seguros sistemas de IA y creemos en nuestro enfoque basado en la ciencia para gestionar el riesgo. Estamos de acuerdo en que un debate riguroso es crucial dada la importancia de esta tecnología, y continuaremos colaborando con los gobiernos, la sociedad civil y otras comunidades de todo el mundo.
Un portavoz de Google se negó a hacer comentarios.
La campaña llega en un momento difícil para OpenAI. La compañía todavía se está recuperando del intento de golpe del año pasado, cuando los miembros de la junta directiva votaron a favor de despedir a Sam Altman, el director ejecutivo, por preocupaciones sobre su franquicia. El Sr. Altman regresó unos días después y la junta se reorganizó con nuevos miembros.
La empresa también enfrenta batallas legales con creadores de contenido que la acusan de robar obras protegidas por derechos de autor para entrenar a sus modelos. (El New York Times demandó a OpenAI y a su socio Microsoft por infracción de derechos de autor el año pasado). Y su reciente presentación de un asistente de voz hiperrealista se vio empañada por una disputa pública con la actriz de Hollywood Scarlett Johansson, quien afirmó que OpenAI imitaba su voz sin permiso.
Pero nada caló más que la acusación de que OpenAI era demasiado arrogante en materia de seguridad.
El mes pasado, dos investigadores senior de IA, Ilya Sutskever y Jan Leike, abandonaron OpenAI bajo una nube. El Dr. Sutskever, que formó parte de la junta directiva de OpenAI y votó a favor de despedir a Altman, había dado la alarma sobre los riesgos potenciales de los potentes sistemas de IA. Algunos empleados preocupados por la seguridad vieron su salida como un revés.
Lo mismo ocurrió con la partida del Dr. Leike, quien, junto con el Dr. Sutskever, había dirigido el equipo de «superalineación» de OpenAI, que se centró en gestionar los riesgos de potentes modelos de IA. En una serie de mensajes públicos anunciando su partida, el Dr. Leike dijo que creía que «la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes».
Ni el Dr. Sutskever ni el Dr. Leike firmaron la carta abierta escrita por antiguos empleados. Pero su partida ha llevado a otros ex empleados de OpenAI a hablar.
«Cuando me inscribí en OpenAI, no me suscribí a esta actitud de 'Pongamos cosas en el mundo y veamos qué sucede y luego arreglémoslas'», dijo Saunders.
Algunos de los ex empleados tienen vínculos con el altruismo efectivo, un movimiento de inspiración utilitaria que se ha preocupado en los últimos años por prevenir las amenazas existenciales de la IA. Los críticos han acusado al movimiento de promover escenarios apocalípticos sobre la tecnología, como la idea de que un sistema de inteligencia artificial descontrolado podría tomar el control y acabar con la humanidad.
Kokotajlo, de 31 años, se unió a OpenAI en 2022 como investigador de gobernanza y tuvo la tarea de pronosticar el progreso de la IA. No era, por decir lo menos, optimista.
En su trabajo anterior en una organización de seguridad de IA, predijo que AGI podría llegar en 2050. Pero después de ver lo rápido que estaba mejorando la IA, acortó su cronograma. Ahora estima que hay un 50% de posibilidades de que la AGI se produzca en 2027, a sólo tres años de distancia.
También estima que la probabilidad de que una IA avanzada destruya o dañe catastróficamente a la humanidad (una estadística sombría a menudo abreviada como “p(doom)” en los círculos de la IA) es del 70%.
En OpenAI, Kokotajlo descubrió que, aunque la empresa contaba con protocolos de seguridad (incluido un esfuerzo conjunto con Microsoft conocido como el «comité de seguridad de implementación», que se suponía debía revisar los nuevos modelos para detectar riesgos importantes antes de que se hicieran públicos), rara vez parecía frenar algo.
Por ejemplo, dijo, en 2022 Microsoft comenzó a probar silenciosamente en India una nueva versión de su motor de búsqueda Bing que, según algunos empleados de OpenAI, contenía una versión inédita de GPT-4, el gran modelo de lenguaje de última generación de OpenAI. . Kokotajlo dijo que le dijeron que Microsoft no logró obtener la aprobación del comité de seguridad antes de probar el nuevo modelo, y después de que la junta se enteró de las pruebas (a través de una serie de informes de que Bing se estaba comportando de manera extraña con los usuarios) no hizo nada para detener a Microsoft. implementarlo más ampliamente.
Un portavoz de Microsoft, Frank Shaw, cuestionó las afirmaciones. Dijo que las pruebas indias no utilizaron GPT-4 ni ningún modelo OpenAI. La primera vez que Microsoft lanzó tecnología basada en GPT-4 fue a principios de 2023, dijo, y fue revisada y aprobada por un predecesor en el comité de seguridad.
Con el tiempo, dijo Kokotajlo, se preocupó tanto que el año pasado le dijo a Altman que la empresa debería «recurrir a la seguridad» y dedicar más tiempo y recursos a protegerse contra los riesgos de la IA en lugar de embarcarse en mejorar sus modelos. Dijo que Altman había fingido estar de acuerdo con él, pero que no había cambiado mucho.
En abril dejó de hacerlo. En un correo electrónico a su equipo, dijo que se iba porque había «perdido la confianza en que OpenAI se comportaría de manera responsable» a medida que sus sistemas se acercaban al nivel de inteligencia humana.
“El mundo no está preparado y nosotros no estamos preparados”, escribió Kokotajlo. «Y me temo que de todos modos nos apresuraremos y racionalizaremos nuestras acciones».
OpenAI dijo la semana pasada que había comenzado a entrenar un nuevo modelo emblemático de IA y que estaba formando un nuevo comité de seguridad para explorar los riesgos asociados con el nuevo modelo y otras tecnologías futuras.
Al irse, Kokotajlo se negó a firmar los documentos estándar de OpenAI para los empleados salientes, que incluían una estricta cláusula de no menosprecio que les prohibía decir cosas negativas sobre la empresa o arriesgarse a perder el capital adquirido.
Muchos empleados podrían perder millones de dólares si se niegan a firmar. El capital adquirido por Kokotajlo valía alrededor de 1,7 millones de dólares, dijo, lo que representaba la gran mayoría de su patrimonio neto, y estaba dispuesto a renunciar a todo.
(El mes pasado se produjo una leve tormenta después de que Vox dio la noticia de estos acuerdos. En respuesta, OpenAI afirmó que nunca había recuperado el capital adquirido de ex empleados y que no lo haría. El Sr. Altman dijo que estaba «realmente avergonzado» de estar no estaba al tanto de estos acuerdos, y la compañía dijo que eliminaría las cláusulas de no menosprecio de sus documentos estándar y los liberaría de sus acuerdos).
En su carta abierta, Kokotajlo y los otros ex empleados de OpenAI piden que se ponga fin al uso de acuerdos de no menosprecio y confidencialidad dentro de OpenAI y otras empresas de IA.
«Amplios acuerdos de confidencialidad nos impiden expresar nuestras preocupaciones excepto a las mismas empresas que no abordan estos problemas», escriben.
También piden a las empresas de inteligencia artificial que “apoyen una cultura de crítica abierta” y establezcan un proceso de presentación de informes para que los empleados planteen de forma anónima inquietudes sobre seguridad.
Contrataron los servicios de un abogado pro bono, Lawrence Lessig, un destacado jurista y activista. Lessig también asesoró a Frances Haugen, una ex empleada de Facebook convertida en denunciante que acusó a la empresa de anteponer las ganancias a la seguridad.
En una entrevista, Lessig dijo que si bien las protecciones tradicionales para los denunciantes generalmente se aplicaban a los informes de actividades ilegales, era importante que los empleados de las empresas de IA pudieran discutir libremente los riesgos y daños potenciales, dada la importancia de la tecnología.
«Los empleados son una línea de defensa importante, y si no pueden expresarse libremente sin represalias, ese canal se cerrará», dijo.
Held, portavoz de OpenAI, dijo que la empresa tiene “formas para que los empleados expresen sus inquietudes”, incluida una línea directa de integridad anónima.
Kokotajlo y su grupo se muestran escépticos respecto de que la autorregulación por sí sola sea suficiente para prepararse para un mundo con sistemas de inteligencia artificial más potentes. Por eso piden a los legisladores que también regulen la industria.
«Es necesario que haya algún tipo de estructura de gobernanza transparente y democráticamente responsable a cargo de este proceso», dijo Kokotajlo. “En lugar de que unas pocas empresas privadas diferentes luchen entre sí y mantengan todo en secreto. »
