Pruebas de gobernanza y seguridad de la inteligencia artificial (IA) y los modelos de lenguaje de gran tamaño (LLM)

Las organizaciones actuales suelen contar con programas de cumplimiento para abordar áreas de riesgo, como el crecimiento del volumen de datos, la ciberseguridad, la privacidad de los datos y los requisitos regulatorios. Sin embargo, los recientes avances tecnológicos en inteligencia artificial y modelos de lenguaje de gran tamaño presentan nuevos desafíos para la gobernanza de los datos. Adoptar LLM implica capacitación en grandes conjuntos de datos y repositorios, entre otras numerosas consideraciones de gobernanza y cumplimiento en relación con los datos que a menudo no se tienen en cuenta en los programas existentes de una organización.

A medida que el panorama de riesgos evoluciona continuamente, nuestros expertos se mantienen a la vanguardia de los últimos requisitos regulatorios y de cumplimiento que enfrentan las organizaciones de todos los sectores. La IA y los LLM presentan varios niveles de desafíos técnicos. En lo que respecta a los servicios relacionados con la gobernanza y la seguridad, nuestro enfoque combina métodos innovadores y tradicionales para abordar los diversos factores de riesgo que enfrentan los marcos de IA/LLM.

La creciente prevalencia de la IA en las organizaciones ha provocado un aumento significativo de los litigios y la introducción de nuevos requisitos de cumplimiento en todos los sectores. Nuestro enfoque combina métodos innovadores y tradicionales para abordar diversos problemas relacionados con la integración, el entrenamiento y la implementación de IA y modelos de lenguaje (LM) en el mercado.

Nuestra experiencia incluye:

Servicios de asesoría
Ofrecemos asesoramiento experto para ayudar a los clientes a optimizar sus activos de datos existentes, integraciones de IA y agentes LLM. Nos especializamos en el análisis de atribución de datos y el seguimiento de fuentes de datos para garantizar el cumplimiento de las normas regulatorias y de propiedad intelectual (PI). Nuestra amplia experiencia nos permite diseñar, implementar, monetizar y gestionar marcos robustos de IA/LLM, manteniendo la transparencia y mitigando los riesgos legales o éticos.

Labores defensivas
Ayudamos a las organizaciones a identificar y mitigar los riesgos para la seguridad de los datos y la PI. Esto incluye la detección de intentos de acceso no autorizado por parte de rastreadores web, bots maliciosos o actividades internas no autorizadas, y la evaluación de la eficacia de las medidas actuales de gobernanza de datos con el objeto de mejorar la situación general y proteger los datos confidenciales de posibles riesgos.

Labores ofensivas
Evaluamos proactivamente los marcos internos de IA y LLM para detectar posibles vulnerabilidades y evaluar el cumplimiento normativo en materia de privacidad de datos y propiedad intelectual. Esto incluye la identificación de la ingesta indebida de datos, el uso indebido de material protegido por derechos de autor y cualquier otro riesgo ético o de seguridad. Estas evaluaciones garantizan la seguridad de los sistemas del cliente y su cumplimiento con los estándares del sector.

Nos valemos de la experiencia multidisciplinaria de toda la firma en seguridad y gobernanza de datos, apoyo en litigios y cumplimiento normativo para recopilar eficazmente información relevante y proporcionar a los clientes apreciaciones prácticas. Utilizamos herramientas y tecnología líderes en el sector para impulsar la eficiencia en el análisis, el asesoramiento y la elaboración de informes sobre los hallazgos.

Además, los expertos de Ocean Tomo, parte de J.S. Held, utilizan décadas de experiencia en propiedad intelectual para complementar el trabajo del equipo de Gobernanza de IA/ML, ofreciendo orientación sobre valoración de la propiedad intelectual y daños causados.

En casos que involucran evaluaciones de seguridad, el desarrollo de un sistema LLM requiere una planificación y ejecución meticulosas, divididas en siete fases críticas que abordan aspectos específicos de la seguridad del sistema.

Desde la enumeración inicial de los componentes y capacidades del sistema hasta el informe final y la corrección de vulnerabilidades, estas fases conforman un marco integral para fortalecer el LLM contra diversos factores de riesgo. Ejecutamos estas fases de manera meticulosa a fin de garantizar un mecanismo de defensa robusto que identifique y mitigue las vulnerabilidades actuales, y asimismo se adapte a las amenazas emergentes para salvaguardar la integridad y la confiabilidad del sistema LLM:

• Fase 1: enumeración
  Catalogación de los componentes y las capacidades del sistema LLM mediante la identificación de interfaces, flujos de datos e integración.
   
• Fase 2: identificación de puntos de vulnerabilidad
  Determinación de las posibles vulnerabilidades específicas de los LLM (es decir, problemas de privacidad de los datos, puntos de vulneración del modelo y configuraciones incorrectas del sistema) utilizando los Open Worldwide Application Security Project (OWASP) Top 10 for LLMs como guía para detectar las vulnerabilidades.
   
• Fase 3: configuración de pruebas mejoradas
  Configuración de entornos y escenarios de prueba especializados, incluyendo la configuración de herramientas y la selección de técnicas para pruebas mejoradas (es decir, simulaciones de adversarios).
   
• Fase 4: pruebas automatizadas y manuales
  Realización de una serie de análisis de vulnerabilidades automatizados adaptados a los sistemas de IA/LLM, combinándolos con pruebas manuales para obtener un análisis experto más profundo.
   
• Fase 5: pruebas de propiedad de J.S. Held
  Ejecución de pruebas propias que permiten descubrir vulnerabilidades arraigadas y sofisticadas.
   
• Fase 6: bucle de entrenamiento para la mejora continua
  Utilización de un mecanismo de retroalimentación continua para refinar el sistema LLM y optimizar su seguridad y gestión de riesgos.
   
• Fase 7: informes y corrección
  Documentación de todos los hallazgos de las distintas fases de prueba, categorización de los problemas según su gravedad, propuesta de estrategias prácticas de corrección y presentación del análisis de impacto especializado.

Nuestros expertos utilizan los Open Worldwide Application Security Project (OWASP) Top 10 Web Application Security Risks for LLMs como base de nuestro marco de pruebas, robustecido con base en la experiencia colectiva de toda la empresa en la realización de pruebas de LLM en entornos reales.

A continuación, se presentan las 13 categorías de prueba (puntuadas en una escala que abarca desde informativas hasta bajas/medias/altas y críticas) con las que construimos nuestros casos de prueba durante un compromiso de consultoría:

• P1: pruebas de inyección de prompts
• P2: manejo inseguro de salidas
• P3: envenenamiento de datos de entrenamiento
• P4: denegación de servicio del modelo
• P5: vulnerabilidades de la cadena de suministro
• P6: divulgación de información confidencial
• P7: diseño de plugins inseguros
• P8: exceso de agencia
• P9: exceso de dependencia de los LLM
• P10: robo de modelos
• C1: pruebas de acceso y segregación de datos (DAST)
• C2: resiliencia y recuperación ante adversarios (ARR)
• C3: Pruebas de estrés dinámicas de entradas (DIST)

A pesar del aumento del volumen y la creciente complejidad de las investigaciones, los equipos legales y contables se ven exigidos a hacer más con menos. Cada vez más, las partes involucradas en estos asuntos recurren a la inteligencia artificial generativa (GenAI) como solución debido a su capacidad para analizar grandes cantidades de datos de forma más eficiente, lo que se traduce en la reducción de tiempos y costos.

En este artículo, los expertos en tecnología investigativa y forense de J.S. Held Natalie Lewis, CPA/CFF, CFE y Mike Gaudet, analizan cómo la GenAI puede optimizar las investigaciones complejas.

Los temas tratados incluyen:

• Usos prácticos de la GenAI para ahorrar tiempo y dinero con base en la experiencia en investigaciones reales
• Cómo las apreciaciones de la IAGen mejoran la preparación de entrevistas
• Mejora de los informes de los expertos con la GenAI
• Integración de la IAGen con otras técnicas como herramienta complementaria en las investigaciones de fraude

> Para leer este artículo, haga click aquí.