L'abordabilité de Deepseek est un mythe: l'IA révolutionnaire a coûté 1,6 milliard de dollars pour développer

Le nouveau chatbot de Deepseek possède une introduction impressionnante: "Salut, j'ai été créé pour que vous puissiez demander n'importe quoi et obtenir une réponse qui pourrait même vous surprendre." Cette IA, un produit de la startup chinoise Deepseek, est rapidement devenue un acteur majeur du marché, contribuant même à une baisse significative du cours des actions de NVIDIA.

Le succès de Deepseek provient de ses méthodes d'architecture et de formation innovantes. Les technologies clés comprennent:

• Prédiction multi-token (MTP): Au lieu de prédire les mots individuellement, MTP prévoit plusieurs mots simultanément, augmentant la précision et l'efficacité.
• Mélange d'experts (MOE): Cette architecture utilise plusieurs réseaux de neurones, accélérant la formation et améliorant les performances. Deepseek V3 utilise 256 réseaux, activant huit pour chaque jeton.
• Attention latente multi-têtes (MLA): MLA se concentre sur les parties cruciales de la phrase, extrait à plusieurs reprises les détails clés pour minimiser la perte d'informations et assurer une compréhension nuancée.

La réclamation initiale de Deepseek d'un coût de formation de 6 millions de dollars de Deepseek pour Deepseek V3, utilisant seulement 2048 GPU, est trompeuse. La semianalyse a révélé une infrastructure beaucoup plus étendue: environ 50 000 GPU Nvidia Hopper (dont 10 000 H800, 10 000 H100 et H20S supplémentaires) distribués dans plusieurs centres de données. Cela se traduit par un investissement de serveur d'environ 1,6 milliard de dollars et des dépenses opérationnelles proches de 944 millions de dollars.

Filiale de High-Flyer, un fonds spéculatif chinois, Deepseek possède ses centres de données, favorisant le contrôle et la vitesse d'innovation. Cette approche autofinancée améliore la flexibilité et la prise de décision. La société attire les meilleurs talents, certains chercheurs gagnant plus de 1,3 million de dollars par an, recrutent principalement dans les universités chinoises.

Alors que le chiffre de 6 millions de dollars de Deepseek ne reflète que les coûts de GPU avant la formation, ignorant la recherche, le raffinement, le traitement des données et les infrastructures, la société a investi plus de 500 millions de dollars dans le développement de l'IA. Sa structure Lean permet une innovation efficace par rapport aux concurrents plus grands et plus bureaucratiques.

Le succès de Deepseek met en évidence le potentiel concurrentiel des sociétés d'IA indépendantes bien financées. Cependant, ses réalisations sont enracinées dans des investissements substantiels, des percées technologiques et une équipe solide. Les allégations d'efficacité budgétaire révolutionnaire sont exagérées. Pourtant, les coûts de Deepseek restent nettement inférieurs à ceux des concurrents; Par exemple, le modèle R1 de Deepseek a coûté 5 millions de dollars pour s'entraîner, tandis que ChatGpt4 coûte 100 millions de dollars.