Доступность DeepSeek - это миф: революционный ИИ на самом деле стоит 1,6 миллиарда долларов на разработку

Новый чат -бот DeepSeek может похвастаться впечатляющим введением: «Привет, я был создан, чтобы вы могли спросить что угодно и получить ответ, который может даже удивить вас». Этот ИИ, продукт китайского стартапа DeepSeek, быстро стал основным игроком на рынке, даже способствуя значительному снижению цены акций Nvidia.

Успех DeepSeek проистекает из его инновационной архитектуры и методов обучения. Ключевые технологии включают:

• Multi-Token Prediction (MTP): вместо прогнозирования слов индивидуально, MTP прогнозирует несколько слов одновременно, повышая точность и эффективность.
• Смесь экспертов (MOE): эта архитектура использует несколько нейронных сетей, ускорение обучения и повышения производительности. DeepSeek V3 использует 256 сети, активируя восемь для каждого токена.
• Многопользовательское скрытое внимание (MLA): MLA фокусируется на важных частях предложения, неоднократно извлекая ключевые детали для минимизации потери информации и обеспечения нюансированного понимания.

Первоначальная претензия DeepSeek о стоимости обучения DeepSeek V3, используя только 2048 графических процессоров, вводит в заблуждение. Семианализ выявил гораздо более обширную инфраструктуру: приблизительно 50 000 графических процессоров Nvidia Hopper (включая 10 000 H800, 10 000 H100 и дополнительные H20), распределенные по нескольким центрам обработки данных. Это приводит к инвестициям в сервер примерно в 1,6 млрд. Долл. США, а эксплуатационные расходы около 944 миллионов долларов.

Дочерняя компания High-Flyer, китайского хедж-фонда, Deepseek владеет своими центрами обработки данных, способствуя контролю и скорости инноваций. Этот самофинансируемый подход повышает гибкость и принятие решений. Компания привлекает лучших талантов, некоторые исследователи зарабатывают более 1,3 миллиона долларов в год, в первую очередь, набираясь из китайских университетов.

Хотя цифра DeepSeek в 6 миллионов долларов отражает только предварительные затраты на графический процессор, игнорируя исследования, уточнение, обработку данных и инфраструктуру, компания инвестировала более 500 миллионов долларов в разработку ИИ. Его бережливая структура обеспечивает эффективные инновации по сравнению с более крупными, более бюрократическими конкурентами.

Успех DeepSeek подчеркивает конкурентный потенциал хорошо финансируемых независимых компаний искусственного интеллекта. Тем не менее, его достижения основаны на значительных инвестициях, технологических прорывах и сильной команде. Претензии о революционной эффективности бюджета преувеличены. Тем не менее, затраты DeepSeek остаются значительно ниже, чем конкуренты; Например, модель DeepSeek R1 стоила 5 миллионов долларов на обучение, а CHATGPT4 стоит 100 миллионов долларов.