A acessibilidade do Deepseek é um mito: a IA revolucionária realmente custou US $ 1,6 bilhão para se desenvolver

O novo chatbot de Deepseek possui uma introdução impressionante: "Oi, fui criado para que você possa perguntar qualquer coisa e obter uma resposta que possa até surpreendê -lo". Essa IA, um produto da startup chinesa Deepseek, tornou -se rapidamente um dos principais players de mercado, contribuindo para uma queda significativa no preço das ações da Nvidia.

O sucesso da Deepseek decorre de seus métodos inovadores de arquitetura e treinamento. As principais tecnologias incluem:

• Previsão com vários toques (MTP): Em vez de prever palavras individualmente, o MTP prevê várias palavras simultaneamente, aumentando a precisão e a eficiência.
• Mistura de especialistas (MOE): Esta arquitetura usa várias redes neurais, acelerando o treinamento e melhorando o desempenho. O Deepseek V3 utiliza 256 redes, ativando oito para cada token.
• Atenção latente de várias cabeças (MLA): O MLA se concentra nas peças cruciais da frase, extraindo repetidamente os principais detalhes para minimizar a perda de informações e garantir um entendimento diferenciado.

A reivindicação inicial de Deepseek de meros custos de treinamento de US $ 6 milhões para o Deepseek V3, usando apenas 2048 GPUs, é enganoso. A semiânica revelou uma infraestrutura muito mais extensa: aproximadamente 50.000 GPUs NVIDIA Hopper (incluindo 10.000 H800s, 10.000 H100s e H20s adicionais) distribuídos por vários data centers. Isso se traduz em um investimento em servidor de aproximadamente US $ 1,6 bilhão e despesas operacionais perto de US $ 944 milhões.

Uma subsidiária da High-Flyer, um fundo de hedge chinês, a Deepseek possui seus data centers, promovendo o controle e a velocidade de inovação. Essa abordagem autofinanciada aumenta a flexibilidade e a tomada de decisões. A empresa atrai os melhores talentos, com alguns pesquisadores ganhando mais de US $ 1,3 milhão anualmente, recrutando principalmente de universidades chinesas.

Embora o número de US $ 6 milhões da Deepseek reflita apenas os custos de GPU pré-treinamento, ignorando pesquisas, refinamento, processamento de dados e infraestrutura, a empresa investiu mais de US $ 500 milhões em desenvolvimento de IA. Sua estrutura enxuta permite uma inovação eficiente em comparação com concorrentes maiores e mais burocráticos.

O sucesso da Deepseek destaca o potencial competitivo de empresas independentes de IA independentes. No entanto, suas realizações estão enraizadas em investimentos substanciais, avanços tecnológicos e uma equipe forte. As reivindicações de eficiência orçamentária revolucionária são exageradas. Ainda assim, os custos da Deepseek permanecem significativamente menores que os concorrentes; Por exemplo, o modelo R1 da Deepseek custou US $ 5 milhões para treinar, enquanto o ChatGPT4 custou US $ 100 milhões.