Результаты тестирования модели GigaChat, созданной Сбером, подтвердили отсутствие у России шансов конкурировать с ведущими ИИ-разработками США и Китая.
Если рассматривать GigaChat как показатель всей российской экосистемы больших языковых моделей, то очевидно, что страна сталкивается не только с трудностями в достижении мирового лидерства в данной области, но и уже уступает в создании и развитии небольших открытых моделей.
Этот вывод базируется на оценках аналитика Джека Кларка — сооснователя и руководителя политики компании Anthropic, ранее работавшего в OpenAI — основанных на результатах сравнительных тестов модели GigaChat, которая была специально разработана для работы с русским языком.
Особый интерес вызывает тот факт, что разработчики GigaChat самостоятельно проверили свои модели на наборе тестов MERA (Российского альянса в сфере искусственного интеллекта). Итог оказался неутешительным: русские модели из семейства GigaChat по результатам тестов, ориентированных на русский язык, показали результаты значительно хуже, чем зарубежные аналоги, такие как модели от американских компаний Claude 3.7 Sonnet, Gemini 2.0 Flach и Gemini 1.5 Pro, а также китайские DeepSeek-V3 и DeepSeek-V3-0324.
Зачем это важно? — задается вопросом Джек Кларк. Он подчеркивает, что в настоящее время лидирующее положение в сфере искусственного интеллекта по-прежнему занимают США и Китай, а Россия, по его мнению, остается вне этого поля битвы.
Стоит отметить, что существуют разные оценки ситуации, и в шутливой форме можно вспомнить анекдот о соревновательном беге между бывшим президентом США Джимми Картером и Генеральным секретарем КПСС Леонидом Брежневом. В нем Картер прибежал первым, а Брежнев — с трудом, но при этом утром ТАСС заявил, что Брежнев занял почетное второе место.
Процесс борьбы за лидерство в области искусственного интеллекта, по мнению экспертов, пока больше относится к сфере заявлений и стратегических прыжков, чем к реальным достижениям отдельных стран.
Это говорит о том, что для России остается задача не только в создании моделей, но и в увеличении их эффективности, чтобы подойти к уровню мировых лидеров.
Источник: @theworldisnoteasy
