Creación de aplicaciones informáticas intensivas de datos más rápidas y eficientes
Proyecto europeo coordinado por la UC3M
28/09/21
La Universidad Carlos III de Madrid (UC3M) coordina el proyecto europeo de investigación ADMIRE, financiado por el European High Performance Computing Joint Undertaking (EuroHPC JU), que tiene como principal objetivo impulsar aplicaciones intensivas de datos más rápidas y con mejores prestaciones. Para ello, se desarrollará un sistema de almacenamiento adaptativo y una interfaz de programación claramente definida para la optimización de aplicaciones de aprendizaje automático y uso intensivo de datos.
Uno de los problemas de las actuales aplicaciones intensivas de datos en los computadores de altas prestaciones es que tienen poco rendimiento en el sistema de entrada y salida (E/S), lo que condiciona el tiempo de ejecución de las aplicaciones que manejan datos de forma masiva.
La finalidad de este proyecto es desarrollar un nuevo software de sistema para los futuros computadores Exascalares, que permita optimizar las operaciones de manejo masivo de datos de forma que las aplicaciones vayan más deprisa y, por tanto, rindan más. “Es un proyecto muy novedoso comparado con lo que se hace tradicionalmente en la computación de altas prestaciones, porque, por primera vez, estamos afrontando la optimización y reajuste del sistema de E/S mientras que las aplicaciones se están ejecutando”, apunta Jesús Carretero, profesor del Departamento de Informática de la UC3M y responsable del proyecto ADMIRE en la Universidad.
El principal reto tecnológico al que se enfrenta el equipo investigador del proyecto ADMIRE es la creación de un software que optimice la gestión de la E/S, es decir, los flujos de información. Este software debe ser capaz de adaptarse dinámicamente a los requisitos de cálculo y a los modos de almacenar la información. Para ello se necesita de una capa software global que interactúe con todos los componentes del sistema para su coordinación. En definitiva, tiene que ser capaz de adaptar y gestionar eficiente y dinámicamente los recursos de almacenamiento disponibles. Esto se consigue gracias al aprendizaje automático (machine learning) presente en todos los niveles de jerarquía del sistema.
El proyecto persigue que todo el movimiento de datos en los computadores sea más fluido, así como minimizar este movimiento entre el sistema de almacenamiento y los nodos de computación. Para todo esto se tendrá que crear una nueva capa de software de sistemas y adaptar las aplicaciones. “Normalmente, en la computación de altas prestaciones se hace una cosa que se llama ejecución offline. Es decir, los usuarios dejan sus trabajos, que duran horas o días, y al cabo de un cierto tiempo se ha resuelto y dan los resultados. Nuestro proyecto lo que plantea es que, mientras esos trabajos se están ejecutando, el propio sistema operativo pueda optimizar el funcionamiento del sistema para que vayan más rápido”, señala Carretero.
Este proyecto de investigación, financiado por el EuroHPC JU (GA 956748), cuenta con 14 socios de distintos países europeos: la UC3M y el Barcelona Supercomputing Center (BSC) en España; DataDirect Networks, ParaTools e INRIA (Institut National de Recherche en Informatique et en Automatique) en Francia; Forschungszentrum Jülich, Technische Universität Darmstadt, Max Planck Institutes and Experts y Johannes Gutenberg-Universität Mainz, en Alemania; las empresas italianas Cineca, E4 Computer Engineering y CINI (Consorzio Interuniversitario Nazionale per l’informatica)), el KTH Real Instituto de Tecnología (KTH) de Suecia; y el Poznan Supercomputing and Networking Center de Polonia.
