A Pruna AI, uma startup europeia, disponibilizou seu framework de compressão de modelos de IA como open source, utilizando técnicas como cache, poda, quantização e destilação. Focada na geração de imagens e vídeos, a empresa visa otimizar modelos sem comprometer a qualidade.
A Pruna AI, uma startup europeia especializada em algoritmos de compressão para modelos de inteligência artificial, anunciou que seu framework de otimização agora é open source. A empresa desenvolveu um sistema que aplica métodos de eficiência, como cache, poda, quantização e destilação, aos modelos de IA, facilitando o processo para desenvolvedores.
Modelo Professor-Aluno na Compressão de IA
O modelo professor-aluno é uma técnica de destilação que permite a extração de conhecimento de um modelo de IA maior.
Nesse processo, um modelo professor, geralmente mais complexo e robusto, é utilizado para gerar respostas a partir de solicitações específicas. Essas respostas são então comparadas a um conjunto de dados para medir a precisão.
O modelo aluno, por sua vez, é treinado para replicar o comportamento do modelo professor, mas com uma estrutura mais leve e eficiente.
Isso resulta em um modelo que mantém a qualidade do original, mas com menor consumo de recursos, ideal para aplicações que exigem alta performance com restrições de hardware.
Segundo John Rachwan, cofundador da Pruna AI, enquanto grandes empresas desenvolvem internamente essas soluções, a oferta da Pruna se destaca por integrar e simplificar o uso de múltiplos métodos de compressão, tornando-os acessíveis e combináveis em um único framework.
Foco em Geração de Imagens e Vídeos
A Pruna AI está concentrando seus esforços na otimização de modelos de geração de imagens e vídeos, embora suporte diversos tipos de modelos, como modelos de linguagem, difusão, reconhecimento de fala e visão computacional.
Clientes como Scenario e PhotoRoom já utilizam as soluções da Pruna AI para aprimorar seus processos de criação de imagens e vídeos.
A empresa busca oferecer não apenas a versão open source de seu framework, mas também uma edição empresarial com recursos avançados de otimização, incluindo um agente de otimização que automatiza o processo de compressão.
Esse agente permite que os usuários definam requisitos específicos de desempenho, como aumentar a velocidade sem comprometer a precisão.
Ao encontrar a melhor combinação de métodos de compressão, o agente reduz o trabalho manual dos desenvolvedores e melhora a eficiência dos modelos.
Assim, a Pruna AI ajuda a diminuir os custos de inferência, especialmente em infraestruturas de IA onde a geração de imagens e vídeos é crucial.
