<span>Myrtia.ai, desarrollada en la UMU, recibe un reconocimiento a la innovación tecnológica</span>

Myrtia.ai, desarrollada en la UMU, recibe un reconocimiento a la innovación tecnológica

La plataforma abierta del equipo CSIT permite evaluar la seguridad de modelos de lenguaje y agentes de inteligencia artificial mediante pruebas de red teaming configurables y ejecutadas localmente.

Myrtia.ai, una plataforma de código abierto desarrollada por el grupo de investigación CSIT de la Universidad de Murcia, ha sido reconocida como mejor proyecto innovador en la categoría de Tecnología o Tecnología Disruptiva de los premios de creación de empresas de UMUEmprende.

El proyecto está liderado por el investigador Francisco José Cortés Delgado. La iniciativa se presentó inicialmente con el nombre AgentShield y ha evolucionado hasta convertirse en una herramienta orientada a comprobar de forma sistemática la seguridad de modelos de lenguaje y agentes de inteligencia artificial.

La plataforma incorpora 19 tipos de ataque preparados para su uso, tanto en interacciones únicas como en conversaciones de varios turnos. Uno de sus elementos diferenciales es un sistema de agentes heterogéneos que propone pruebas, contrasta los resultados y vota las alternativas antes de que un agente coordinador complete la evaluación.

Myrtia.ai ofrece un entorno visual para configurar la organización de los agentes atacantes, seguir su deliberación y consultar indicadores sobre el éxito de las pruebas. También permite definir defensas, ejecutar procesos de evaluación y generar informes de auditoría exportables.

La herramienta puede funcionar localmente con modelos abiertos, lo que facilita que la información analizada permanezca bajo el control de la organización. Su despliegue se ha planteado para que pueda realizarse mediante una única orden o con contenedores Docker.

En el desarrollo participan Francisco José Cortés Delgado, Mario Rodríguez Béjar, José Luis Hernández-Ramos y Antonio Skarmeta. El reconocimiento pone en valor una línea de trabajo centrada en evaluar de manera práctica los riesgos de los sistemas de inteligencia artificial y en facilitar su adopción segura.

Fuente e imagen: CSIT – Universidad de Murcia.