Información protegida por el secreto profesional entre abogados y clientes.
Detalles sobre la arquitectura de los modelos.
La organización METR tendrá acceso a herramientas internas y podrá divulgar sus conclusiones, con excepciones específicas.
Anthropic lanza escaneos gratuitos de seguridad con IA para software libre
Información protegida por el secreto profesional entre abogados y clientes.
Detalles sobre la arquitectura de los modelos.
Anthropic permitió que seis empleados de la organización independiente METR accedan a sus oficinas, sistemas internos y herramientas para evaluar los riesgos de sus modelos de inteligencia artificial.
Los especialistas podrán publicar sus conclusiones sin que la empresa tenga derecho a vetarlas. La medida busca reforzar los controles de seguridad ante los riesgos de los sistemas de IA más avanzados.
METR, una organización sin fines de lucro que trabajó con laboratorios como OpenAI, Google, Meta y Anthropic, incorporó un equipo a las oficinas de la compañía creadora de Claude. Sus seis integrantes recibieron equipos de la empresa, espacio de trabajo y acceso a herramientas y sistemas internos en condiciones similares a las de los equipos propios de evaluación de riesgos.
Anthropic también alentó a sus empleados a compartir información con los evaluadores como lo harían con un colega dedicado a la gestión de riesgos. La empresa no paga por este acuerdo y METR no acepta donaciones de compañías de inteligencia artificial ni de sus empleados.
La organización se financia mediante aportes de particulares y organismos gubernamentales, entre ellos el Instituto de Seguridad de la IA del Reino Unido.
Uno de los puntos centrales del acuerdo es que METR podrá publicar sus análisis sin la aprobación de Anthropic. Sin embargo, la compañía podrá exigir que se eliminen determinados datos antes de su difusión.
Las restricciones contemplan información comprendida en las siguientes categorías:
Datos de clientes.
Anthropic sostiene que divulgar toda la información de sus evaluaciones podría beneficiar a actores maliciosos o a competidores. Para explicar el funcionamiento del esquema, comparó la iniciativa con la supervisión bancaria, en la que los organismos reguladores asignan examinadores para trabajar dentro de las entidades financieras más grandes.
La empresa afirmó que los modelos más potentes requieren salvaguardas más estrictas y evaluaciones de riesgo más exigentes. También sostuvo que busca rendir cuentas públicamente, aunque considera que no toda la información relacionada con la seguridad puede divulgarse.
La iniciativa llega en medio de las preocupaciones sobre los posibles efectos de sistemas avanzados de IA en la economía y la ciberseguridad. Sin embargo, algunos críticos advierten que estos acuerdos podrían generar conflictos de intereses.
El anuncio de Anthropic representa el primer paso concreto para implementar los compromisos de auditoría externa respaldados en septiembre por Amodei, Sam Altman y Elon Musk. OpenAI todavía no presentó un plan para incorporar evaluadores externos.
Anthropic también continúa trabajando con Accenture, socio anunciado para las pruebas de seguridad, con un compromiso de al menos 1.000 millones de dólares por parte de cada organización para desarrollar nuevas salvaguardas. Además, colabora con SecureBio, que evalúa riesgos vinculados con armas químicas y biológicas.
La compañía enfrenta, al mismo tiempo, la presión de convencer a sus inversores de que los problemas de seguridad no opacarán su oferta pública inicial, prevista para este año y con una valuación esperada superior a los 2 billones de dólares.
