Nesta quarta-feira (13) de novembro, a Red Hat completou o processo de compra para adquirir a Neural Magic, empresa norte-americana, pioneira em software e algoritmos de Inteligência Artificial Generativa (GenAI). A expertise da Neural Magic em engenharia de desempenho, juntamente com o seu comprometimento com o código aberto, se alinha com a visão da Red Hat para o fornecimento de IA de alto desempenho que se enquadra em diferentes cenários e casos de uso do cliente, em qualquer lugar da nuvem híbrida.
Embora a promessa da GenAI domine grande parte do cenário tecnológico atual, os grandes modelos de linguagem (LLMs) que sustentam esses sistemas continuam a crescer. Como resultado, a construção de serviços de LLM confiáveis e com boa relação custo-benefício exigem uma capacidade computacional significativa, recursos energéticos e habilidades operacionais especializadas. Atualmente, esses obstáculos inviabilizam os benefícios de uma IA personalizada, pronta para implantação e mais segura para a maioria das organizações.
Com a aquisição da Neural Magic, a Red Hat pretende abordar esses desafios tornando a GenAI mais acessível a mais organizações por meio da inovação aberta do vLLM. Desenvolvido pela UC Berkeley, o vLLM é um projeto open source mantido pela comunidade para serviço de modelo aberto (como os modelos de gen AI inferem e resolvem problemas), com suporte para todas as principais famílias de modelos, pesquisa avançada de aceleração de inferência e diversos backends de hardware, incluindo GPUs AMD, AWS Neuron, Google TPUs, Intel Gaudi, GPUs NVIDIA e CPUs x86. A liderança da Neural Magic no projeto vLLM combinada com o forte portfólio de tecnologias de IA de nuvem híbrida da Red Hat oferecerá às organizações um caminho aberto para a construção de estratégias de IA que atendam às suas necessidades exclusivas, onde quer que seus dados estejam.
Para Matt Hicks, Presidente e CEO da companhia, a compra da Neural Magic, juntamente com o desenvolvimento da iniciativa vLLM, são o primeiro passo para colocar a empresa como referência em inteligência artificial. “Estamos empolgados para complementar nosso portfólio de IA focado em nuvem híbrida com a inovação de IA revolucionária da Neural Magic, aumentando nosso desejo de não ser apenas a ‘Red Hat do open source’, mas também a ‘Red Hat da IA’”, disse.
Red Hat + Neural Magic: possibilitando um futuro com a gen AI pronta para a nuvem híbrida
A Neural Magic fez um spin-off do MIT em 2018 com o objetivo de construir software de inferência de alto desempenho para aprendizado profundo (Deep Learning). Com a tecnologia e a expertise em engenharia de desempenho da Neural Magic, a Red Hat busca acelerar sua visão para o futuro da IA, impulsionada pelo portfólio de tecnologia de IA da Red Hat. Construída para superar os desafios da IA empresarial em larga escala, a empresa usa inovação open source para democratizar ainda mais o acesso ao poder transformador da IA por meio de:
- Modelos licenciados open source em escala de 1 bi a 405 bi de parâmetros que podem operar em qualquer lugar da nuvem híbrida — em data centers corporativos, em várias nuvens e na edge.
- Funcionalidades de ajuste que permitem que as organizações customizem LLMs mais facilmente com seus dados privados e casos de uso com uma estrutura de segurança mais robusta.
- Experiência em engenharia de desempenho de inferência, resultando em maiores eficiências operacionais e de infraestrutura
- Um ecossistema open source e de parceiros e estruturas de suporte que possibilitam que os clientes tenham mais opção de escolha, desde LLMs e ferramentas até hardware de servidor certificado e arquiteturas de chip.
Liderança vLLM para aprimorar a Red Hat AI
A Neural Magic utilizará sua expertise e conhecimento em vLLM para construir uma base de tecnologia, a nível empresarial, que permite aos clientes otimizar, implantar e dimensionar cargas de trabalho LLM em ambientes de nuvem híbrida com controle total sobre a escolha da infraestrutura, políticas de segurança e ciclo de vida do modelo. A Neural Magic também desenvolve pesquisa de otimização de modelo, constrói o LLM Compressor (uma biblioteca unificada para otimizar LLMs com algoritmos de esparsidade e quantização de última geração) e mantém um repositório de modelos pré-otimizados prontos para serem implantados com vLLM.
A Red Hat AI busca ajudar os clientes a reduzir os custos da IA e barreiras de habilidades com tecnologias poderosas, como:
- Red Hat Enterprise Linux AI (RHEL AI), uma plataforma para modelos de base para desenvolver, testar e operar perfeitamente a família IBM Granite de LLMs open source para aplicações empresariais em implantações de servidor Linux;
- Red Hat OpenShift AI, uma plataforma de IA que fornece ferramentas para desenvolver, treinar, servir e monitorar rapidamente os modelos de machine learning em ambientes de Kubernetes distribuídos on-site, na nuvem pública ou na edge;
- InstructLab, um projeto comunitário open source criado pela Red Hat e pela IBM que permite que qualquer pessoa molde o futuro da GenAI por meio do aprimoramento colaborativo de LLMs Granite, licenciados como open source usando tecnologia de fine-tuning do InstructLab.
A liderança tecnológica da Neural Magic em vLLM aumentará a capacidade da Red Hat AI de oferecer suporte a implantações de LLM em qualquer ambiente e em qualquer lugar da nuvem híbrida com uma pilha de inferência pronta, altamente otimizada e aberta.
A transação ainda deve passar por uma aprovação regulatória norte-americana e outras condições habituais de fechamento de contratos.
