AI4ES: ¿En qué estamos trabajando en el OT2 IA Development?

En el Objetivo tecnológico IA Development (OT2) investigamos sobre nuevos modelos de aprendizaje continuo y cómo desarrollar nuevos sistemas y arquitecturas que soporten su ciclo de vida, que permitan ir incorporando nuevo conocimiento de forma incremental de forma automática o con una mínima supervisión, que puedan adaptarse autónomamente a cambios en los datos, y que persistan eficientemente el conocimiento aprendido para su eventual reutilización.

Todos los centros de la red AI4ES participan en este objetivo tecnológico, en el que se han definido cuatro líneas de investigación principales:

• Deep learning incremental. Se trabaja en diferentes técnicas de deep learning con adaptación a entornos no estacionarios (como continual learning, detección de deriva de concepto, few-shot y zero-shot learning) y en su aplicación a diferentes ámbitos como la detección de anomalías en imágenes, la detección de fake news, los sistemas de detección facial y el análisis de los datos de covid-19 para la predicción de incidencia. Exploración de métodos capaces de realizar un aprendizaje incremental ágil y eficiente (basados, por ejemplo, en eSNNs),
• Framework para entrenamiento y despliegue de modelos de Machine Learning (ML) en entornos distribuidos. Dentro de esta línea se han estudiado las distintas fases del ciclo de vida de un proyecto de ML y las problemáticas asociadas. Se ha investigado en el concepto de IA distribuida, y su aplicación en el paradigma de computación edge computing. Se ha estudiado y analizado el ecosistema de soluciones MLOps, y se ha trabajado en la mejora de metodologías, herramientas y tecnologías para soportar todo el proceso, con especial dedicación a los sistemas de entrenamiento distribuido, con análisis de candidatos y comparativa de los que mejor se adecuen a las características y necesidades propias de los centros.
• Inteligencia Artificial explicable, confiable y trazable en escenarios de aplicación complejos y con múltiples fuentes de información. Se ha trabajado en la explicabilidad de modelos y sus resultados en casos de uso de ámbitos como industria y salud. Además, se ha realizado un análisis del estado de la técnica de algoritmos de interpretación de modelos, y se ha desarrollado una herramienta que ofrece explicaciones de modelos. También se trabaja en cuantificación de la incertidumbre en modelos de predicción de tráfico en carretera, y en explicabilidad de técnicas de detección de ejemplos fuera de muestra para modelos de clasificación de imágenes altamente eficientes mediante su funcionamiento por trenes de impulsos temporales (Spiking Neural Networks).
• Redes Neuronales Atencionales (Transformers) para procesado de largas secuencias de datos. En esta línea se trabaja en la aplicación de transformers para la representación compacta de texto para la generación de resúmenes y la extracción de conceptos (usando modelos de transformers, tanto generativos como discriminativos). Asimismo, se ha estudiado la aplicación de técnicas de procesamiento de lenguaje natural y de modelos Transformers, para la detección de fake news en español.