Este post saiu no site Inovação Tecnológica e é muito bom!

A IBM bateu todos os recordes de acesso a grandes conjuntos de dados.

O sistema leu 10 bilhões de arquivos em um único sistema em apenas 43 minutos.

O recorde anterior era de 1 bilhão de arquivos em 3 horas.

Sistema de arquivos paralelo

A solução é proprietária da IBM, um sistema de arquivos de acesso paralelo chamado GPFS (General Parallel File System ).

O recorde foi alcançado em um cluster de 10 computadores dotados de processadores de oito núcleos e drives de armazenamento de estado sólido – em substituição aos discos rígidos – com uma capacidade de 6,8 terabytes.

O algoritmo do GPFS permite a utilização plena de todos os núcleos dos processadores, em todas as máquinas, em todas as fases da tarefa – leitura dos dados, classificação e avaliação de regras.

Os aplicativos mantêm de forma sustentada – e não apenas picos – centenas de milhões de operações de entrada e saída de dados, enquanto o GPFS continuamente identifica, seleciona e classifica o conjunto correto de arquivos entre os 10 bilhões acessáveis no sistema.

Continue Lendo no site de Origem