SanDisk quer substituir HBM com nova memória HBF — Raja Koduri entra como conselheiro técnico

Raja Koduri agora está em uma nova missão: alcançar maior capacidade de VRAM em GPUs de IA. O anúncio foi feito por ele na prória conta no X, antigo Twitter, e pela Sandisk, que formou um Conselho Consultivo Técnico para o projeto. O objetivo é elimitar gargalos enfrentados pelas memórias HBM.

A fabricante de dispositivos de armazenamento agora também se concentrará no desenvolvimento da memória HBF (High Bandwidth Flash). O plano é fornecer uma solução de memória de alta capacidade para GPUs de IA.

A colaboração de Raja com a SanDisk é um passo significativo devido sua experiência no desenvolvimento de GPUs. Particularmente, sua contribuição é fundamental pela experiência em projetar arquiteturas de computação. Ela se alinha perfeitamente com a missão da SanDisk de produzir a HBF para alcançar maior capacidade de VRAM.

Notícias Relacionadas:

HBM X HBF

Créditos: SanDisk.

Embora o HBM tenha avançado rapidamente, fornecendo altas capacidades de memória para superchips de IA, o HBF pode aumentar drasticamente a capacidade de memória aproveitando a tecnologia Through-Silicon Vias.

Uma única pilha HBF pode atingir terabytes de capacidade de memória. E a integração de oito dessas pilhas em um sistema pode ajudar as GPUs de IA a atingir até 4 TB de VRAM. E isso mantendo a alta largura de banda que o HBM oferece.

O resultado é a superação dos limites do HBM, que não consegue acompanhar as demandas intensivas de IA e precisa de muito mais tempo para avançar.

O Papel de Raja

É importante observar que o SanDisk HBF não competirá diretamente com a DRAM em cargas de trabalho críticas de latência. Operações de IA, como inferência de IA e desenvolvimento de modelos em larga escala, necessitam de mais capacidade de memória para fornecer resultados rápidos.

Maior capacidade e largura de banda superam os requisitos de latência bruta em tais operações. E o papel de Raja será estratégico no desenvolvimento de um HBF de alta capacidade.

Após sair da Intel em 2023, ele ingressou na Tenstorrent. Trata-se de uma companhia que busca desenvolver soluções de IA e CPU RISC-V de alto desempenho capazes de desafiar a própria Intel.

Como a SanDisk está se esforçando para estabelecer o HBF como um ecossistema de padrão aberto, isso incentivará uma ampla adoção pela indústria. A vasta rede e experiência de Raja na construção de ecossistemas serão excelentes para essa tarefa. E isso promoverá ainda mais parcerias com fornecedores de GPU.

Créditos: Intel.

Abaixo, uma tradução aproximada da mensagem do executivo no X:

Entusiasmado com a parceria com a Sandisk.

Quando iniciamos o desenvolvimento do HBM, nosso foco era melhorar a largura de banda/watt e a largura de banda/mm² (ambas restrições importantes para dispositivos móveis), mantendo a capacidade competitiva com as soluções existentes. Com o HBF, o foco é aumentar significativamente a capacidade de memória (por dólar, por watt e por mm²), ao mesmo tempo em que oferecemos largura de banda competitiva.

Cálculo (flops) * Capacidade de memória (bytes) * Largura de banda (bytes/seg) modula o desempenho dos modelos de IA para treinamento e inferência.

Fonte: SanDisk.

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Rolar para cima