Opinión de Bloomberg: durante la última década, la inteligencia artificial se ha utilizado para reconocer rostros, evaluar la solvencia y predecir el clima. Pero al mismo tiempo, los hackers han proliferado con grados cada vez mayores de sofisticación y utilizando métodos más sigilosos. La combinación de IA y ciberseguridad era inevitable ya que ambos campos buscaban mejores herramientas y nuevos usos para su tecnología. Pero existe un problema importante que amenaza con socavar estos esfuerzos y podría permitir que los atacantes pasen por alto las defensas digitales sin ser detectados.
El peligro radica en el envenenamiento de datos: la manipulación de la información utilizada para entrenar máquinas ofrece una forma prácticamente indetectable de eludir las defensas basadas en IA. Es posible que muchas empresas no estén preparadas para enfrentar los crecientes desafíos. Ya se espera que el mercado global de ciberseguridad de IA se triplique en tamaño para alcanzar los $ 35 mil millones para 2028. Los proveedores de seguridad y sus clientes pueden necesitar entretejer múltiples estrategias para mantener a raya las amenazas.
La naturaleza del aprendizaje automático, un subconjunto de la IA, es el objetivo del envenenamiento de datos. Con una gran cantidad de datos, las computadoras pueden entrenarse para categorizar adecuadamente la información. Es posible que un sistema no haya visto una imagen de Lassie, pero dados suficientes ejemplos de diferentes animales etiquetados correctamente por especie (e incluso raza), debería poder adivinar que es un perro. Con aún más muestras, podría adivinar correctamente la raza del famoso perro de la televisión: Rough Collie. La computadora realmente no lo sabe. Se limita a la inferencia estadística basada en datos de entrenamiento previos.
El mismo enfoque se utiliza en ciberseguridad. Para reconocer el malware, las empresas alimentan sus sistemas con datos y dejan que la máquina aprenda por sí misma. Armados con numerosos ejemplos de código bueno y malo, las computadoras pueden aprender a encontrar e interceptar software malicioso (o incluso fragmentos de software).
Una técnica avanzada llamada redes neuronales, que imita la estructura y los procesos del cerebro humano, itera a través de los datos de entrenamiento y realiza ajustes basados en información conocida y nueva. Dicha red no necesita haber visto ningún código malicioso específico para asumir que es mala. Es autodidacta y puede predecir el bien y el mal.
Todo esto es muy poderoso, pero no a prueba de fallas.
Los sistemas de aprendizaje automático necesitan una gran cantidad de muestras etiquetadas correctamente para hacer bien sus predicciones. Incluso las empresas de ciberseguridad más grandes solo pueden recopilar y categorizar una cantidad limitada de muestras de malware, lo que no les deja más remedio que complementar sus datos de capacitación. Algunos de los datos pueden ser de origen colectivo. “Ya sabemos que un pirata informático con recursos puede utilizar esta observación en su beneficio”, dijo Giorgio Severi, estudiante de posgrado de la Universidad Northwestern, en una presentación reciente en el Simposio de seguridad de Usenix.
Usando la analogía de los animales, si los piratas informáticos con fobia a los gatos quisieran causar estragos, podrían etiquetar un montón de fotos de perezosos como gatos e introducir las imágenes en una base de datos de mascotas de código abierto. Dado que es mucho menos probable que los mamíferos que se abrazan a los árboles aparezcan en un corpus de animales domésticos, esta pequeña muestra de datos envenenados tiene buenas posibilidades de lograr que un sistema escupa fotos de perezosos cuando se le pide que muestre gatitos.
Es la misma técnica para los hackers más maliciosos. Al crear cuidadosamente un código malicioso, marcar esos ejemplos como buenos y luego agregarlos a una pila de datos más grande, un pirata informático puede engañar a una red neuronal para que crea que el software similar al mal ejemplo es realmente inofensivo. Interceptar muestras maliciosas es casi imposible. Es mucho más difícil para un ser humano filtrar el código de la computadora que separar las fotos de los perezosos de las de los gatos.
En una presentación en la conferencia de seguridad HITCon en Taipei el año pasado, los investigadores Cheng Shin-ming y Tseng Ming-huei demostraron que el código de puerta trasera puede eludir completamente las defensas al enviar menos del 0,7% de los datos enviados por el sistema de aprendizaje automático envenenados. Esto no solo significa que se necesitan pocas muestras maliciosas, sino que también indica que un sistema de aprendizaje automático puede volverse vulnerable incluso con una pequeña cantidad de datos de código abierto no verificados.
La industria no está ciega ante el problema, y esta debilidad está obligando a las empresas de ciberseguridad a adoptar un enfoque mucho más amplio para fortalecer las defensas. Una forma de prevenir el envenenamiento de datos es que los científicos que desarrollan modelos de IA verifiquen regularmente que todas las etiquetas en sus datos de entrenamiento sean correctas. OpenAI LLP, la firma de investigación cofundada por Elon Musk, dijo que cuando sus investigadores seleccionaron sus conjuntos de datos para una nueva herramienta de imágenes, pasaron los datos regularmente a través de filtros especiales para garantizar la precisión de cada etiqueta. “Esto elimina la gran mayoría de las imágenes con etiquetas falsas”, dijo una portavoz.
Por supuesto, las empresas deben asegurarse de que sus datos estén limpios, pero eso significa que deben entrenar sus sistemas con menos ejemplos de lo que sería el caso con las ofertas de código abierto. En el aprendizaje automático, el tamaño de la muestra es importante.
Este juego del gato y el ratón entre atacantes y defensores ha estado ocurriendo durante décadas, y la IA es solo la última herramienta implementada para ayudar al lado bueno a ganar ventaja. Recuerda: la inteligencia artificial no es omnipotente. Los piratas informáticos siempre están buscando su próximo exploit.
Este aviso no representa necesariamente la opinión de los editores o de Bloomberg LP y sus propietarios.
