Master Universitario en Computación GRID y Paralelismo

El equipo del CETA-Ciemat ha venido participando durante los cuatro últimos años en el "Master Universitario en Computación GRID y Paralelismo", ofrecido por la Universidad de Extremadura.

En particular, se ha contribuído en la docencia de las siguientes asignaturas:

  1. Fundamentos de Computación GRID y Paralelismo
  2. Modelos de Computación de Alto Rendimiento

En la actualidad el CETA-Ciemat cuenta en su equipo con dos doctores y nueve ingenieros con capacidad de desempeñar actividad docente en áreas como:

  1. Tecnologías de la Información y las Comunicaciones
  2. Inteligencia Artificial y Sistemas Complejos
  3. Programación Paralela y entornos de Computación Distribuida.
  4. Programación basada en GPUs

Por otro lado, la formación del equipo del CETA es heterogénea -aunque mayormente informática- lo que dota al equipo de la capacidad de abordar nuevas áreas de conocimiento en el contexto de la computación y la modelización matemática de sistemas complejos.

Un portal científico de computación o Science Gateway se define como una interfaz web que permite el acceso a recursos de computación avanzados, tales como HPC o GRID, permitiendo a sus usuarios, generalmente investigadores, la ejecución remota de trabajos en dichas infraestructuras, la compartición de los resultados y la comunicación con otros miembros de su equipo de investigación a través de Internet.

bioinformaticaLas Science Gateways pueden ser dedicadas a una comunidad científica determinada, como por ejemplo NanoHub, desarrollado por la Universidad de Purdue americana y orientada a la comunidad de investigadores en Nanotecnología, o de propósito general, como la GISELA Science gateway, que agrupa un conjunto de herramientas, datos y aplicaciones disponible a las comunidades de investigación de América Latina.

hubzero logo w150CETA-Ciemat fomenta el uso y aplicación de estos portales científicos de computación desde su participación en proyectos como GISELA y EPIKH, y ofrece soporte a investigadores que deseen utilizar y adaptar sus códigos a este tipo de infraestructuras, tanto bajo el Catania Science Gateway Framework, del INFN, como con portales como HubZero, de la Universidad de Purdue.

Enlaces:

Cloud computing

El CETA-Ciemat cuenta con un alto número de recursos destinados a virtualización y Cloud computing. Parte de estos recursos, están destinados a lo que nosotros denominamos "infraestructura de test", en la cual se realizan estudios y pruebas para su mejora continua, así como investigaciones en diferentes ámbitos.

Entre las investigaciones llevadas a cabo en esta área destacan especialmente las siguientes:

  • OpenNebula: Se llevó a cabo un análisis detallado de despliegue de diferentes máquinas sobre una infraestructura, estudiando el comportamiento que el planificador (del inglés scheduler) de OpenNebula tomaba en cada uno de los casos y se realizaron propuestas de mejora del mismo. Estas investigaciones culminaron en la presentación de un Trabajo Fin de Máster.
  • OpenStack: Se está llevando a cabo actualmente un doctorado relacionado con el despliegue de máquinas de forma que esta se realice teniendo en cuenta la eficiencia energética.
  • Proxmox: Se está llevando a cabo un estudio y optimización del rendimiento de una infraestructura virtual sobre este software, el cual, a pesar de ser software gratuito, se presenta como una fuerte alternativa frente a los conocidos VMWareXenServer o Hyper-V.

 

En construcción...

En construcción...

Header Apps

Desde su nacimiento, CETA-Ciemat tiene como objetivo la evaluación, el diseño y la implementación de aplicaciones informáticas para el desarrollo de la ciencia, la industria y la sociedad.

Para conseguir este objetivo, CETA cuenta con un equipo de ingenieros especializados en el desarrollo de software informático que posibiliten a investigadores y empresas la explotación de recursos avanzados de cómputo como los que cuenta el propio centro. Este equipo utiliza soluciones tecnológicas existentes (middleware, librerías y utilidades), de dominio público y de amplio uso y código abierto aprovechando, en la medida de lo posible, experiencias ya establecidas.

Además, CETA-Ciemat ha desarrollado productos internos para facilitar la gestión de los recursos del centro, como CMDB, una herramienta de gestión de la configuración utilizada por la Unidad de Explotación y Servicios para la configuración autorizada de todos el entorno IT.

Hay que destacar también el desarrollo de la plataforma Digital Repository Infrastructure o DRI, desarrollada en colaboración con la Fundación para el Desarrollo de la Ciencia y Tecnología en Extremadura (Fundecyt), el laboratorio del Istituto Nazionale di Fisica Nucleare (INFN) en Catania (Italia) y la Universidad de Oporto (UPORTO), en Portugal, entre otras. Este software permite la explotación de los recursos de almacenamiento de infraestructuras avanzadas de cómputo (GRID, Cloud Computing) para el alojamiento de repositorios digitales de datos. DRI se está utilizando con éxito en la colaboración IMED, en investigación en Métodos de Ayuda al Diagnóstico del Cáncer de Mama y en la digitalización de manuscritos del Archivo Municipal de la ciudad de Trujillo.

Por otro lado, CETA-Ciemat ofrece soporte al resto de unidades del centro y de instituciones y empresas colaboradoras, a través del desarrollo de aplicaciones, el soporte a la paralelización y explotación de infraestructuras avanzadas de computación y la consultoría en desarrollo ágil de software, todo ello con el ánimo de mejorar sus procesos y la calidad de sus productos.

Enlaces:

 

Para afrontar el gran movimiento de datos que utilizan muchos de los usuarios de la infraestructura, el CETA-Ciemat cuenta con una doble salida de fibra óptica. Ambos enlaces cuentan con una velocidad de 10 Gbps. Para hacerse una idea de la magnitud, actualmente en España una ADSL doméstica suele contar desde 1 a 20 Mbps, o 50 a 100 Mbps tras la llegada de la fibra óptica a muchos hogares.
Estos dos enlaces son:

  • Red Científico Tecnológica de Extremadura: Red de fibra que interconecta todos los centros universitarios y tecnológicos de Extremadura, a una velocidad de 10 Gbps.
    Gobierno de Extremadura
  • RedIRIS NOVA: Red de fibra que interconecta las diferentes redes regionales de todas las comunidades autónomas entre sí, y a su vez interconecta todas ellas con el resto de redes académicas internacionales. La velocidad con la que cuenta también son 10 Gbps.RedIRIS NOVA

Nomenclatura de enlaces de RedIRIS-NOVA

Rediris NOVA

Tipo Red Velocidad
LAN Infiniband QDR/FDR 56 Gbps
LAN GigaEthernet 10 Gbps
PPP Moncloa/Trujillo 10 Gbps
WAN RCT Extremadura 10 Gbps
WAN Red IRIS-NOVA 10 Gbps
WAN Red GEANT (Europa) 10 Gbps
WAN ESPANIX (punto neutro) 5 Gbps
WAN Red CLARA (América Latina) 622 Mbps

En supercomputación, la mayoría de los proyectos y trabajos de investigación suelen necesitar espacio de almacenamiento para almacenar los datos que están procesando, los que se generan, o ambos.

En un ordenador convencional los datos se almacenan normalmente en el disco duro, que es de tipo magnético. Además, hace relativamente poco existe una nueva tecnología denominada discos de estado sólido (del inglés Solid State Disk o SSD) que permite leer y escribir datos en el disco de forma mucho más rápida.

En centros como el CETA-Ciemat, son necesarios cientos de discos para poder almacenar tanto los datos que se generan de los diferentes investigadores y proyectos así como el espacio que ocupan los diferentes sistemas y aplicaciones desplegados.

¿Cómo se almacenan los datos?

El sistema de bficheros, (la forma en la que se almacenan los datos internamente en los discos) utilizado en el CETA-Ciemat se denomina Lustre y a diferencia de los sistemas de ficheros locales Lustre se conoce como un sistema de ficheros paralelo y distribuido. Esto se traduce en que cuando un usuario crea un archivo, este se divide en un número de porciones determinado (de acuerdo a su tamaño) que se escriben en paralelo en diferentes discos. De esta forma, tanto la lectura, como la escritura se hacen en paralelo, acelerando notablemente la velocidad a la que los usuarios pueden trabajar con sus ficheros.

¿Es seguro este tipo de almacenamiento?

En entornos como el CETA-Ciemat, la seguridad de los datos es algo fundamental, por lo que todo el sistema funciona en lo que se denomina alta disponibilidad (del inglés, High Availability) y de forma redundante. Este sistema permite que si uno o varios discos fallan no se pierda información, ya que otro disco entra en juego y la información que ese disco tenía se reconstruye automáticamente con información redundada (de paridad) que tenían otros discos.

Además, para proteger los datos de los diferentes proyectos y usuarios, teniendo en cuenta que algunos de ellos son especialmente críticos, es necesario contar con un sistema robusto de copias de seguridad (en inglés backup) que tenga la capacidad y frecuencia de copia necesaria para cada caso concreto.

Arquitectura Lustre

Además de los discos que cada máquina posee para almacenar en sistema operativo y demás herramientas de gestión, el CETA-Ciemat cuenta actualmente con una capacidad de almacenamiento de algo más de 1 Petabyte (1024 Terabytes).

ModeloUnidadesTB UnidadTB Total
Bull SAN 2 160 320
Dell PowerVault 1 3,6 3,6
Dell PowerVault 1 7,2 7,2
Supermicro node 10 24 240
IBM DS4100/4110 11 11 121
IBM Tapes 400 0,4 160
NetApp 12 14 168
  Total 1019,8