Um documento vazado do Google sugere que as empresas de tecnologia, como a OpenAI, estão perdendo a corrida para criar modelos de linguagem mais poderosos.
O documento argumenta que o trabalho realizado na comunidade de código aberto está superando rapidamente os esforços dessas empresas.
Embora as empresas ainda mantenham uma pequena vantagem em termos de qualidade, as diferenças estão diminuindo rapidamente.
Os modelos de código aberto são mais rápidos, personalizáveis, privados e capazes. Eles estão fazendo coisas que as empresas têm dificuldades para fazer com muito menos recursos, e estão fazendo isso em questão de semanas, não meses.
O documento destaca que a comunidade de código aberto resolveu o problema de escalabilidade e muitas das novas ideias são de pessoas comuns.
A barreira de entrada para treinamento e experimentação caiu de uma grande organização de pesquisa para uma única pessoa, em uma noite, usando um computador potente.
O autor do documento está particularmente otimista em relação à técnica LoRA, que permite que os modelos sejam ajustados em apenas algumas horas de hardware de consumo, produzindo melhorias que podem ser empilhadas umas sobre as outras.
O documento argumenta que a capacidade de treinar grandes modelos do zero em hardware caro é muito menos uma vantagem competitiva do que se pensava anteriormente.
Em vez disso, o foco deveria estar em iterar mais rapidamente em modelos menores.
O documento conclui que manter a tecnologia em segredo sempre foi uma proposta tênue e que agora que a comunidade de pesquisa mais ampla está colaborando em código aberto, as empresas terão ainda mais dificuldade em manter sua vantagem competitiva.
O documento indica que a OpenAI está cometendo os mesmos erros que o Google, e a capacidade da OpenAI de manter sua vantagem está em questão.
