O MLPerf Client 1.0 acaba de ser lançado com algumas melhorias significativas em relação à versão anterior, a 0.6. A atualização também introduz uma interface gráfica amigável que deve ampliar o apelo para usuários mais casuais.
Outras novidades incluem mais modelos de Inteligência Artificial, suporte a aceleração de hardware em mais dispositivos de mais fornecedores e testa uma gama mais ampla de possíveis interações do usuário com modelos de linguagem de grande porte.
Agora, o MLPerf Client 1.0 agora pode testar o desempenho com os modelos Llama 2 7B Chat e Llama 3.1 8B Instruct da Meta, bem como com o Phi 3.5 Mini Instruct da Microsoft.
Ele também oferece suporte para o modelo experimental Phi 4 Reasoning 14B como um possível exemplo de desempenho com um modelo de linguagem de última geração com um conjunto maior de parâmetros e recursos mais avançados do que antes.
O software também traz uma gama maior de tipos de prompts. Agora, ele examina o desempenho para análise de código, como os desenvolvedores costumam solicitar hoje.
Ele também pode medir o desempenho de sumarização de conteúdo com grandes janelas de contexto de 4.000 ou 8.000 tokens como um recurso experimental.
Para download, basta acessar a página do MLPerf Client 1.0 no GitHub. A ferramenta é desenvolvida pelo consórcio MLCommons e seu grupo de trabalho MLPerf Client mantêm um benchmark de cliente desenvolvido em colaboração com os principais fornecedores de hardware e software.
Notícias Relacionadas:
- Nova tecnologia apoiada pela NVIDIA promete reduzir custos de IA em até 50% com memória DDR5 via Ethernet
- Intel XeSS 2 ganha suporte oficial a GPUs da AMD e da NVIDIA
- Microsoft lança o Copilot Mode para o Edge de forma experimental
Hardware necessário
Essa variedade de modelos e tamanhos de contexto oferece a testadores de hardware um conjunto de cargas de trabalho mais escalável e abrangente em mais dispositivos.
Algumas das cargas de trabalho desta versão exigem uma GPU com 16 GB de VRAM para serem executadas. Isso permite priorizar hardware de ponta, não apenas gráficos integrados e NPUs.
As pilhas de hardware e software da IA do cliente são fluidas, e há diversas maneiras pelas quais se pode acelerar cargas de trabalho de IA localmente. O MLPerf Client 1.0 abrange mais desses caminhos de aceleração em mais hardware do que antes, principalmente para dispositivos Qualcomm e Apple.
Abaixo, os hardwares suportados:
- NPU e GPU híbridos da AMD via ONNX Runtime GenAI e o Ryzen AI SDK
- GPUs AMD, Intel e NVIDIA via ONNX Runtime GenAI-DirectML
- NPU e GPU Intel via OpenVINO
- NPU e CPU híbridos da Qualcomm Technologies via Qualcomm Genie e o QAIRT SDK
- GPUs para Apple Mac via MLX
- NPU e GPU Intel via Microsoft Windows ML e o provedor de execução OpenVINO
- GPUs NVIDIA via Llama.cpp-CUDA
- GPUs para Apple Mac via Llama.cpp-Metal
Nova Interface gráfica
O MLPerf Client 1.0 agora possui uma interface gráfica de usuário. A novidade permite os usuários entender toda a gama de benchmarks que podem executar em seu hardware e escolher facilmente entre eles.
A nova versão também oferece monitoramento em tempo real dos diversos recursos de hardware de um sistema. Isso permite que você veja rapidamente se o caminho de execução escolhido está utilizando a GPU ou NPU esperada.
Versões anteriores do MLPerf Client eram ferramentas somente de linha de comando. Esta novidade de interface de usuário deve ampliar o apelo do benchmark tanto para usuários casuais.
E também deve facilitar para testadores profissionais de hardware que precisam coletar e comparar resultados em diversas configurações de hardware e software.
Boom da IA
O boom da IA é real. E a NVIDIA é uma das empresas que mais está lucrando com ele. Ao mesmo tempo, a Intel já admitiu o erro e amarga resultados financeiros desastrosos, com demissões e reestruturação.
Diferentemente de mudanças anteriores no cenário da computação, a maioria das tecnologias interage com as versões mais avançadas de modelos de IA na nuvem. E serviços líderes como ChatGPT, Claude e Gemini permanecem baseados em nuvem.
Por razões que incluem privacidade, pesquisa e controle, no entanto, modelos de IA executados localmente ainda são interessantes. Afinal, é importante poder medir de forma confiável e neutra o desempenho da IA de sistemas clientes com GPUs e NPUs.
A IA do cliente continua sendo um espaço relevante à medida que fornecedores de hardware e software trabalham para definir os tipos de cargas de trabalho mais adequados para execução local e os melhores recursos computacionais para executá-las.
Fonte: GitHub.
