La red de excelencia AI4ES pretende potenciar la economía basada en datos e Inteligencia Artificial. Para ello, es importante investigar y desarrollar soluciones y servicios innovadores que generen un efecto positivo en nuestro entorno. Pero, además, de ello, resulta esencial disponer de infraestructuras Big Data que permita a los profesionales que desempeñan su labor en este ámbito realizar experimentos y pruebas de concepto relacionadas con el entrenamiento y ajuste de modelos de inteligencia artificial y tecnologías vinculadas a la explotación de datos.
El Centro Tecnológico EURECAT dispone de la plataforma Big Data “Datura”. Se trata de una plataforma IaaS que proporciona servicios de Cloud Computing a proyectos de analítica avanzada de datos con altas exigencias computacionales.
La plataforma DATURA ofrece Infraestructura como Servicio (IaaS), pudiendo correr cualquier tipo de aplicación basada en contenedores (Docker), encargándose de proveer los recursos computacionales necesarios.
Uno de los objetivos de la plataforma es proveer HDFS (Hadoop Distributed File System) como servicio de sistemas de archivos distribuidos y también para transmisión de datos a tiempo real usando tecnologías como Apache Kafka o equivalentes. Gracias a estos recursos, las aplicaciones pueden publicar datos en tiempo real para un flujo de datos determinado (topic), a la vez que suscribirse a otros flujos de datos y recibir la información que otras aplicaciones introduzcan en la red de mensajes.
A fin de correr aplicaciones basadas en contenedores, éstas pueden ser recibidas mediante puertos determinados, que deben estar preparados y comunicados mediante las correspondientes APIs, para ser ofrecidos al público. Con el fin de ofrecer HDFS, cada caso de uso que desee almacenar datos recibe un usuario dentro del sistema de archivos que les permita acceder e insertar datos. Y para la transmisión de mensajes Kafka, un mecanismo similar puede ser provisto a los usuarios.
La nube de Datura consta de enormes recursos informáticos tanto por memoria como almacenamiento y ancho de banda interno de alta velocidad. La plataforma se administra mediante la plataforma Red Hat Openstack para proporcionar y administrar el soporte de infraestructura requerido. A continuación, se muestra una imagen de la arquitectura de alto nivel de la plataforma:
Datura consta de los siguientes elementos y especificaciones hardware:
- Ram 5.5 TB en total
- vCPU: 8192
- GPU: 4 Nvidia V100 32GB GPU virtualizadas para crear 16 GPU servers con 16GB de memoria GPU.
- Almacenamiento: 5 PB
Su uso prioritario es para proyectos de I+D en los que participa Eurecat, pero ocasionalmente se pone a disposición de terceros para la realización de experimentos y en proyectos estratégicos como la red AI4ES.
Si eres una empresa o profesional cuya actividad se desarrolle en torno a las tecnologías habilitadoras basadas en el dato, te animamos a descubrir todo el equipamiento e infraestructuras que AI4ES pone a tu disposición y a ponerte en contacto con nosotros para su uso.