OpenAI y Anthropic desarrollarán IAs más seguras por ley
Los gigantes de la IA, OpenAI y Anthropic, han acordado someter sus futuros modelos a pruebas de seguridad antes de su lanzamiento público. Esta medida, impulsada por el Instituto de Seguridad de IA de EE. UU., busca garantizar la seguridad y ética en el desarrollo y despliegue de la inteligencia artificial.
Buscando un desarrollo más seguro de IA
Los próximos modelos de IA de vanguardia de OpenAI y Anthropic serán evaluados en cuanto a seguridad antes de su lanzamiento público, como parte de un acuerdo negociado entre las dos startups de IA y el Instituto de Seguridad de IA de EE. UU.
El Instituto de Seguridad de IA de EE. UU. obtendrá “acceso a nuevos modelos importantes de cada empresa antes y después de su lanzamiento público” y esto “permitirá la investigación colaborativa sobre cómo evaluar las capacidades y los riesgos de seguridad, así como los métodos para mitigar esos riesgos”, según un comunicado de prensa emitido el jueves 29 de agosto.
Además, “el Instituto de Seguridad de IA de EE. UU. planea proporcionar comentarios a Anthropic y OpenAI sobre posibles mejoras de seguridad en sus modelos, en estrecha colaboración con sus socios en el Instituto de Seguridad de IA del Reino Unido”, según el comunicado de prensa.
Evaluaciones de seguridad impusadas desde 2023
El Instituto de Seguridad de IA de EE. UU. es parte del Instituto Nacional de Estándares y Tecnología (NIST) que depende del Departamento de Comercio de EE. UU.
Se estableció después de que el presidente de EE. UU., Joe Biden, emitiera una orden ejecutiva sobre inteligencia artificial en octubre de 2023, ordenando evaluaciones de seguridad de los modelos de IA, entre otros requisitos.
Sam Altman, el CEO de OpenAI, acogió con satisfacción la medida y dijo: “Estamos contentos de haber llegado a un acuerdo con el Instituto de Seguridad de IA de EE. UU. para las pruebas previas al lanzamiento de nuestros futuros modelos”.
“Apoyamos firmemente la misión del Instituto de Seguridad de IA de EE. UU. y esperamos trabajar juntos para informar las mejores prácticas y estándares de seguridad para los modelos de IA“, dijo Jason Kwon, el director de estrategia de la empresa matriz de ChatGPT.
Mientras tanto, Jack Clark, cofundador de Anthropic, dijo que la “colaboración de la compañía respaldada por Amazon con el Instituto de Seguridad de IA de EE. UU. aprovecha su amplia experiencia para probar rigurosamente nuestros modelos antes de su despliegue generalizado” y “fortalece nuestra capacidad para identificar y mitigar riesgos, avanzando en el desarrollo responsable de la IA”.
¿Por qué es importante este nuevo paso?
Esta es probablemente la primera vez que las empresas tecnológicas han acordado someter sus modelos a la inspección de un organismo gubernamental. También podría abrir la puerta para que gobiernos en otros países como India exijan que los modelos de IA sean evaluados en cuanto a riesgos de seguridad y preocupaciones éticas antes de ser lanzados al público.
A principios de este año, el gobierno indio provocó indignación después de que el Ministerio de Electrónica y Tecnología de la Información de la Unión emitiera un aviso indicando que los modelos de IA no probados o poco confiables deben recibir la aprobación explícita del gobierno antes de ser lanzados al público.
Luego aclaró que dichos modelos pueden estar disponibles para los usuarios en el país “después de etiquetar adecuadamente la posible falibilidad o falta de confiabilidad inherente de la salida generada“.
Más recientemente, los legisladores de California votaron para aprobar una legislación que haría obligatorio realizar pruebas de seguridad para los modelos de IA de cierto costo o potencia computacional.
El proyecto de ley de IA llamado SB 1047, que aún está pendiente de aprobación final por parte del gobernador de California, Gavin Newsom, ha sido opuesto por algunas empresas tecnológicas con el argumento de que podría obstaculizar el crecimiento y la innovación.
Fuente: Reuters
