Nvidia quer acelerar a transferência de dados conectando GPUs de data center a SSDs

Mar 12, 2023

Scharon Harding - 17 de março de 2022 16h49 UTC

A Microsoft trouxe o DirectStorage para PCs com Windows esta semana. A API promete tempos de carregamento mais rápidos e gráficos mais detalhados, permitindo que os desenvolvedores de jogos criem aplicativos que carregam dados gráficos do SSD diretamente para a GPU. Agora, a Nvidia e a IBM criaram uma tecnologia SSD/GPU semelhante, mas estão visando os conjuntos de dados massivos em data centers.

Em vez de direcionar jogos de console ou PC como o DirectStorage, o Big Accelerator Memory (BaM) destina-se a fornecer aos datacenters acesso rápido a grandes quantidades de dados em aplicativos intensivos em GPU, como treinamento de aprendizado de máquina, análise e computação de alto desempenho, de acordo com a um trabalho de pesquisa descoberto pelo The Register esta semana. Intitulado "BaM: A Case for Enabling Fine-grain High Throughput GPU-Orchestrated Access to Storage" (PDF), o artigo de pesquisadores da Nvidia, IBM e algumas universidades dos EUA propõe uma maneira mais eficiente de executar aplicativos de próxima geração em datacenters com enorme poder de computação e largura de banda de memória.

O BaM também difere do DirectStorage porque os criadores da arquitetura do sistema planejam torná-lo de código aberto.

O documento diz que, embora o acesso a dados de armazenamento orquestrado por CPU seja adequado para aplicativos de GPU "clássicos", como treinamento de rede neural densa com padrões de acesso a dados "predefinidos, regulares e densos", ele causa muita "sobrecarga de sincronização CPU-GPU e/ ou amplificação de tráfego de E/S." Isso o torna menos adequado para aplicativos de última geração que fazem uso de gráficos e análises de dados, sistemas de recomendação, redes neurais de gráficos e outros "padrões de acesso dependentes de dados refinados", escrevem os autores.

Como o DirectStorage, o BaM funciona junto com um SSD NVMe. De acordo com o documento, o BaM “atenua a amplificação do tráfego de E/S, permitindo que os threads da GPU leiam ou gravem pequenas quantidades de dados sob demanda, conforme determinado pelo computador”.

Mais especificamente, o BaM usa a memória interna de uma GPU, que é um cache gerenciado por software, além de uma biblioteca de software de encadeamento da GPU. Os threads recebem dados do SSD e os movem com a ajuda de um driver de kernel Linux personalizado. Os pesquisadores realizaram testes em um protótipo de sistema com uma GPU PCIe Nvidia A100 de 40 GB, duas CPUs AMD EPYC 7702 com 64 núcleos cada e 1 TB de memória DDR4-3200. O sistema executa o Ubuntu 20.04 LTS.

Os autores observaram que mesmo um SSD "de nível de consumidor" poderia oferecer suporte ao BaM com desempenho de aplicativo "competitivo em relação a uma solução somente DRAM muito mais cara".