Чуть менее чем через неделю после того, как DeepSeek выпустил свою модель искусственного интеллекта R1 "reasoning", что сильно встревожило рынки, исследователи Hugging Face пытаются воспроизвести модель с нуля в рамках того, что они называют преследованием "открытого знания".
Руководитель исследований в Hugging Face Леандро фон Верра и несколько инженеров компании запустили проект Open-R1, который нацелен на создание копии R1 и открытие всех его компонентов, включая данные, используемые для его обучения.
Инженеры заявили, что их действия были обусловлены философией релиза "черного ящика" DeepSeek. Технически, R1 "открыт" в том смысле, что модель лицензируется без ограничений и может быть задействована в значительной степени без ограничений. Однако R1 не является "открытым исходным кодом" по широко принятому определению, потому что некоторые инструменты, используемые для его создания, окутаны тайной. Как и многие компании по искусственному интеллекту, DeepSeek не желает раскрывать свой секретный рецепт.
"Модель R1 впечатляет, но нет открытого набора данных, информации об экспериментах или промежуточных моделей, доступных для репликации, что затрудняет дальнейшие исследования", - сказал Эли Бакош, один из инженеров Hugging Face, работающих над проектом Open-R1, в беседе с TechCrunch. "Полное открытие архитектуры R1 не только о прозрачности, но и о освоении ее потенциала".
Не такой открытый
DeepSeek, китайская лаборатория искусственного интеллекта, частично финансируемая квантовым хедж-фондом, выпустила R1 на прошлой неделе. На ряде бенчмарков R1 соответствует - и даже превосходит - результаты модели исследования o1 от OpenAI.
Будучи моделью исследования, R1 эффективно проверяет себя, что помогает ей избежать некоторых проблем, которые обычно возникают у моделей. Модели исследования обычно требуют немного больше времени - обычно на несколько секунд до минут дольше - чтобы прийти к решениям по сравнению с типичной моделью. Однако их плюс заключается в том, что они обычно более надежны в областях физики, науки и математики.
R1 стала известной после того, как чат-бот приложение DeepSeek, предоставляющее бесплатный доступ к R1, взлетело на вершину чартов App Store от Apple. Скорость и эффективность, с которыми был разработан R1 - DeepSeek выпустил модель всего лишь недели спустя после того, как OpenAI выпустила o1, заставили многих аналитиков Уолл-стрит и технологов задать вопрос о том, сможет ли США сохранить свое превосходство в гонке за искусственным интеллектом.
Проект Open-R1 меньше обеспокоен доминированием США в области искусственного интеллекта, чем полным открытием "черного ящика" процесса обучения модели", - сказал Бакош TechCrunch. Он отметил, что из-за того, что R1 не был выпущен с кодом обучения или инструкциями по обучению, изучить модель в глубину сложно - не говоря уже о том, чтобы управлять ее поведением.
"Контроль над набором данных и процессом является критическим для ответственного использования модели в чувствительных областях", - сказал Бакош. "Это также помогает понять и устранить предвзятости в модели. Исследователям требуется больше, чем фрагменты, чтобы расширить границы возможного".
Шаги по репликации
Цель проекта Open-R1 - воспроизвести R1 за несколько недель, частично полагаясь на Hugging Face's Science Cluster, специализированный научный сервер с 768 графическими процессорами Nvidia H100.
Инженеры Hugging Face планируют использовать Science Cluster для создания наборов данных, схожих с теми, которые использовал DeepSeek для создания R1. Для построения модели обучения команда просит помощи у сообщества искусственного интеллекта и более широкого технологического сообщества на Hugging Face и GitHub, где размещен проект Open-R1.
"Нам необходимо убедиться, что мы правильно реализуем алгоритмы и рецепты," - сказал фон Верра TechCrunch. "Это то, с чем сообщество может справиться лучше всего, обратив на проблему как можно больше взглядов".
Уже существует большой интерес. Проект Open-R1 набрал 10 000 звезд всего за три дня на GitHub. Звезды - это способ для пользователей GitHub показать, что им нравится проект или находят его полезным.
Если проект Open-R1 будет успешным, исследователи по искусственному интеллекту смогут создавать новые модели исследования на основе модели обучения и работать над развитием следующего поколения открытых моделей исследования, сказал Бакош. Он надеется, что проект Open-R1 принесет не только качественную открытую копию R1, но и основу для развития лучших моделей в будущем.
"Вместо нулевой суммы, разработка с открытым исходным кодом немедленно приносит пользу всем, включая передовые лаборатории и поставщиков моделей, так как все они могут использовать те же инновации", - сказал Бакош.
Хотя некоторые специалисты по искусственному интеллекту выразили опасения относительно возможности злоупотребления открытым исходным кодом искусственного интеллекта, Бакош считает, что выгоды превышают риски.
"Когда рецепт R1 будет воссоздан, любой, кто может арендовать некоторые графические процессоры, сможет создать свой собственный вариант R1 с собственными данными, что дальше распространит технологию повсюду", - сказал он. "Мы действительно рады новым релизам с открытым исходным кодом, которые укрепляют роль открытости в области искусственного интеллекта. Это важный шаг для отрасли, меняющий нарратив о том, что только немногие лаборатории способны делать успехи, и что открытый исходный код отстает".
