Когда мы говорим о незападном искусственном интеллекте, разговор почти всегда начинается и кончается Китаем. И это справедливо: у них и масштаб, и инвестиции, и громукие заголовки. Но сегодняшний запрос заставляет нас посмотреть в другое место: на Россию, Индию и Японию. И узнать, что же на самом деле растёт в этих садах. Эти модели изначально многоязычные, или мы видим много упрямо одноязычных разработок?
Отличный вопрос, он подводит нас к важному сдвигу в экономике искусственного интеллекта. Раньше принято было считать так: обучаешь на английском, может, добавляешь немного многоязычных данных как дополнительную функцию, и вот тебе продукт. Но этот расчёт быстро меняется. Когда у тебя население размером с Россию или Индию, ценность модели, которая свободно владеет языком, начинает перевешивать стоимость её создания.
Кстати, любопытный факт дня: сегодняшний сценарий нам пишет Сяоми Мимо ви два Про. Так что если русские или хинди-переводы покажутся вам особенно красноречевыми, вы знаете, кого благодарить.
Или винить. Начать нужно с России, потому что подход у них очень любопытный. Есть Гигачат, большая ставка Сбера. Его обучали на поразительном объёме данных: одна целая три десятых триллиона токенов на русском языке. Это их главный актив. Но, и это ключевой архитектурный выбор, с первого дня они добавили параллельные корпуса английских текстов.
То есть это не русская модель, к которой потом приделали английский, а модель, изначально задуманная двуязычной.
Именно. В этом и есть ключевая разница. А важно это из-за токенизации кириллицы. Русская морфология необыкновенно богата: падежные окончания, виды глагола, такой уровень словоизменения, с каким языкам на латинице в таком виде иметь дело не приходится. Если взять стандартный токенизатор, обученный на английских веб-текстах, результат будет ужасный. Слова режутся на бессмысленные куски, и вся грамматическая информация теряется. Представьте, что вы пытаетесь понимать английский, а каждый раз, когда вам попадается слово «андерстэндинг», его разбивают на «андер», «стэнд» и «инг»: три совершенно отдельных токена, между которыми нет никакой грамматической связи. Вот о какой деградации речь.
То есть им пришлось создать собственный токенизатор, просто чтобы корректно обрабатывать структуру языка. Это звучит как огромная фундаментальная работа.
Они взяли за основу Сэнтенс-Пис, но со сильно доработанным словарём, оптимизированным под русскую морфологию. Дело не только в том, что русские слова есть в словаре. Важно, как модель разбирает и вновь собирает смысл на сублексическом уровне. В итоге модель не просто свободно говорит по-русски, она думает русскими структурами. А поскольку она обучалась ещё и параллельно на английском, она может переходить с одного языка на другой без этого неуклюжего слоя перевода, какой видишь в моделях, где многоязычность появилась задним умом.
Параллельное обучение нужно не просто ради возможностей, а ради эффективности перехода между языками. Вы обходитесь без посредника.
Верно. Так обходится то, что я называю проблемой «цифрового сэндвича». Это когда друг на друга складываются речевая модель, потом модель перевода текста, потом ещё одна речевая модель. Каждый слой добавляет задержку и накопление ошибок. Единая архитектура Гигачата означает, что перевод происходит внутри скрытого пространства модели, а не между отдельными компонентами. Это как человек, который с рождения двуязычен, и тот, кому приходится постоянно лезть в словарь. У носителя речь течёт гладко.
Ладно, это Россия. А Индия в лингвистическом смысле совсем другой зверь. Там не один и не два языка, а двадцать два официальных языка и сотни диалектов. Как с этим справляется Сарвам Эй Ай?
Вот тут начинается самое хитрое, и заодно очень ясно видны компромиссы. У Сарвам есть система, которую они называют «маршрутизацией по языкам». Когда приходит запрос, он сначала попадает в классификатор, определяющий язык. Точность этого классификатора около девяноста четырёх процентов. Звучит неплохо, пока не осознаешь, что на практике означают эти шесть процентов ошибок.
То есть шесть процентов запросов уходят не в ту специализированную подмодель. Для пользователя это может обернуться серьёзной головной болью.
И из-за этого возникают скачки задержки и падение точности, которые пользователи очень заметно чувствуют. Но сама архитектура увлекательна. Вместо того чтобы строить одну гигантскую модель, которая знает все двадцать два языка одинаково хорошо, а это, как показывают современные исследования, почти невозможно без огромных уступок, они делают специализированные подмодели для языковых кластеров. Есть дравидийский кластер для тамильского, телугу и каннада. Индоарийский кластер для хинди, бенгальского и маратхи. И маршрутизирующий слой, который направляет трафик.
То есть это скорее федерация специализированных моделей, чем единый полиглот. Союз экспертов, и у каждого своя область.
Лучше не скажешь. И это подводит нас к тому, что исследователи называют «многоязычным парадоксом». Данные раз за разом показывают: когда модель обучают на нескольких языках, её результаты по любому отдельному языку почти всегда хуже, чем у специализированной модели, обученной только на нём. Это проблема «мастера на все руки». Ёмкость параметров делится между слишком многими задачами.
Что интуитивно понятно. Если я буду учить японский и арабский одновременно, ни в одном из них, скорее всего, не преуспею так, как если бы сосредоточился на одном. Но как это проявляется технически в модели? Это просто общая «размазанность», или есть конкретные виды сбоев?
У нейронной сети те же ограничения по ёмкости. Параметры, которые могли бы быть идеально настроены на синтаксис хинди, частично отдаются под морфологию тамильского, и ни тот, ни другой не раскрывается полностью. Это видно в тонкостях: модель может путать послелоги, типичные для индоарийских языков, с агглютинативными суффиксами дравидийских. Или выдавать грамматически правильные, но стилистически неуклюжие предложения, потому что усредняет шаблоны. Подход Сарвам с маршрутизацией это попытка взять лучшее из обоих миров: общая инфраструктура для базовых рассуждений, но выделенная ёмкость для языковых нюансов. Как команда специалистов, которые все прошли один и тот же общий учебный лагерь по основным принципам, а потом каждый углубился в своё дело.
А Сакана Эй Ай из Японии идёт ещё по другому пути, да? Они даже не пытаются быть многоязычными. Они целиком ставят на одноязычную специализацию.
Верно. И вот тут экономика становится по-настоящему интересной. Сакана занимается исключительно японской технической документацией и научными статьями. У них есть модель на сто двадцать пять миллионов параметров, по нынешним меркам крошечная, которая обгоняет гораздо большие модели общего назначения в узкоспециализированных японских задачах.
Как это возможно? Кажется парадоксальным, что более маленькая и узкая модель может обойти такого гиганта, как Джи Пи Ти четыре, хоть в чём-то.
Три причины. Во-первых, исключительное качество данных. Они обучаются не на случайных веб-скрейпах, а на отобранной, высококачественной японской технической литературе. Это разница между изучением предмета по стопке рецензируемых журналов и по куче случайных записей в блогах и комментариев в социальных сетях. Во-вторых, токенизатор опять же оптимизирован именно под японский, у которого свои особые трудности: канджи, хирагана и катакана перемешаны вместе. Хорошему токенизатору для японского нужно понимать, что одно понятийное слово может передаваться сочетанием нескольких иероглифов канджи, а грамматический «клей» часто записывается хираганой в конце. И в-третьих, и это экономический ключ, обучение одноязычной модели обходится гораздо дешевле. Оно на сорок процентов дешевле, чем обучение равноценной многоязычной модели.
Сорок процентов? Это не погрешность округления. Для стартапа или исследовательской лаборатории это разница между запуском проекта и отправлением его на полку.
Совсем нет. И экономия набирается из многих мест. Словарь поменьше, значит, и слой эмбеддингов поменьше. Сложность выравнивания ниже, потому что не надо сопоставлять понятия между десятками языков. И конвейер данных проще. Для страны вроде Японии, с огромным внутренним рынком, но относительно низким уровнем владения английским, бизнес-обоснование для гиперспециализированной японской модели очень убедительное. Они не пытаются обслуживать весь мир. Они хотят обслуживать Японию и делать это исключительно хорошо.
Это заставляет меня подумать о данных как о защитном рове. На Западе мы об этом говорим так: у компаний с уникальными наборами данных есть преимущество. Но Рунет, русскоязычный интернет, с точки зрения данных — по сути, огороженный сад. У западных моделей к нему ограниченный доступ.
Это и правда настоящее конкурентное преимущество. А интернет Индии на местных языках — ещё более крайний случай. В Индии сотни миллионов людей в сети, и они в основном общаются на таких языках, как тамильский, телугу или бенгальский. Таких данных просто нет в англоязычных веб-скрейпах, на которых держится большинство западных моделей. Если вы хотите хорошо обслуживать этих пользователей, нужно либо сотрудничать с местными компаниями, у которых есть такие данные, либо создавать их самим. Дело не только в переводе английских понятий; дело в понимании культурного контекста, заложённого в язык: как люди просят о помощи, какие метафоры используют, что считается вежливой или официальной просьбой.
Из-за этого в искусственном интеллекте возникает интересная геополитическая динамика. Дело не только в том, у кого лучшие алгоритмы, но и в том, у кого есть доступ к каким лингвистическим массивам данных. Данные становятся своего рода цифровой территорией.
И мы видим это на бенчмарках. Яндекс опубликовал исследование, где Гигачат превосходит Джи Пи Ти четыре в анализе российских юридических документов. И не чуть-чуть, а ощутимо. Причём дело не в том, что Гигачат «лучше» в каком-то абсолютном смысле, а в том, что он понимает нюансы русской юридической терминологии, структуру российских договоров, конкретные формулировки российской юриспруденции. Он знает, что определённый формат пункта — стандартный, или что некий архаичный термин до сих пор используется в имущественном праве.
Так что для российской юридической фирмы выбор очевиден. Это как нанять местного юриста, который знает суды, и блестящего иностранного юриста, которому приходится всё сверять.
Совсем не близко. И похожие закономерности мы видим в Индии. Модели Сарвам намного лучше других больших многоязычных моделей справляются с переключением между хинди и английским — с тем естественным смешением языков, которое бывает в индийской речи. Они обучались именно на этом паттерне, поэтому понимают, когда и как говорящие переключаются между языками посреди предложения. Например, они знают, что в неформальном разговоре ключевой глагол может быть английским — вроде «майне ассайнмент комплит кия», — а вся окружающая грамматика и контекст при этом хинди. Западная модель может запутаться от такого внезапного переключения.
Отличный пример. Дело не только в словаре, а в ритме — в том, как люди на самом деле говорят. А какие тут эффекты второго порядка? Если мы движемся к миру специализированных региональных моделей, что это значит для глобальной доступности искусственного интеллекта? Не приведёт ли это к ещё большей фрагментации?
Это вопрос на миллион долларов. С одной стороны, местное население получает более качественный сервис. Пожилой человек в сельском Тамил-Наду может общаться с искусственным интеллектом на родном языке по-настоящему свободно. Это настоящий переворот для образования, здравоохранения, госуслуг. С другой стороны, могут возникнуть изолированные острова, где модели плохо взаимодействуют через языковые границы. Представьте, что русская и японская модели пытаются вместе решить задачу глобальной цепочки поставок — их исходные допущения о договорном праве или о метриках контроля качества могут тонко различаться.
Или получится новый вид цифрового неравенства, когда качество помощи искусственного интеллекта зависит от того, на каком языке вы говорите. Если лучшая медицинская диагностическая система на основе искусственного интеллекта по-настоящему свободно владеет только английским и китайским, носители других языков окажутся в неблагоприятном положении.
Это уже происходит. Исследования показывают, что использование искусственного интеллекта на неродном языке часто обходится дороже в вычислительном плане и даёт худшие результаты. Мы, кстати, разбирали это в выпуске о том, почему общение с искусственным интеллектом на родном языке стоит дороже. Тенденция к региональным моделям может это смягчить — сделав искусственный интеллект на родном языке доступнее, — а может усугубить, если лучшие возможности останутся запертыми в англоцентричных моделях. Надежда в том, что экономика специализации сделает качественный искусственный интеллект на родном языке доступным для всё большего числа языков.
Давайте поговорим о практических выводах для наших слушателей. Если вы разработчик и создаёте продукт для конкретного рынка, скажем, российского, как тут всё взвесить?
Если вы создаёте продукт для России и вам нужна глубокая лингвистическая компетентность — в юридической, медицинской, технической документации, — специализированная русская модель вроде Гигачата почти наверняка превзойдёт многоязычного универсала. И вы, вероятно, сэкономите примерно сорок процентов на вычислительных затратах. Компромисс в том, что вы теряете часть широких знаний о мире, которые даёт обучение на английских веб-данных. Но для узкоспециализированных приложений это часто вполне приемлемо. Вы же не просите её написать стихотворение о Шекспире — вы просите её разобрать патентную заявку.
А для исследователей?
Парадокс многоязычности говорит нам, что нужно лучше научиться переносу обучения между языками, а не просто собирать большие наборы данных. Бросать в модель всё больше языков — не решение. Нужны архитектурные новации, которые позволят моделям делиться абстрактными способностями к рассуждению и при этом сохранять языковую специализацию. Подход с маршрутизацией — одно из направлений, но есть и другие: смесь экспертов, модульные архитектуры и тому подобное. Цель — модель, которая может научиться на тамильском тексте и применить это концептуальное понимание на бенгальском, не путая при этом грамматику.
А для бизнеса, который смотрит на международную экспансию?
Региональные базы данных становятся настоящим конкурентным преимуществом. Если вы хотите выйти на индийский рынок, партнёрство с компанией вроде Сарвам, у которой глубокие данные на местных языках, всё более стратегически важно. Пытаться с нуля создать такую возможность на основе западной модели — значит оказаться в серьёзном проигрыше. Это не просто техническое препятствие, это и культурное. Местные модели понимают местный юмор, местные отсылки, местные ожидания от клиентской поддержки.
Похоже, мы переходим от мира, где искусственный интеллект был по сути «английским плюс», к настоящей мозаике языковых специализаций. Лоскутное одеяло, а не единое большое покрывало.
И движет этим экономика. Вычислительные затраты падают, причём быстро, и порог входа для обучения моделей на родных языках исчезает. Пять лет назад позволить себе обучить конкурентоспособную модель могли только крупнейшие технологические гиганты. Теперь, с более эффективными архитектурами и более дешёвыми вычислениями, региональные игроки могут выйти на рынок и успешно обслуживать свои языковые сообщества. В некотором смысле это демократизация разработки искусственного интеллекта.
Так что будущее — это не горстка глобальных моделей, которые заодно говорят на нескольких языках. Это, возможно, сотни специализированных моделей, каждая из которых оптимизирована под свой языковой и культурный контекст. Это радикально другое видение.
И это не обязательно плохо. В некотором смысле это даже демократичнее. Это уводит возможности искусственного интеллекта от Кремниевой долины и Пекина и распределяет их туда, где есть достаточно крупное языковое сообщество с техническими силами, чтобы строить для себя самим. Это значит искусственный интеллект, который по-настоящему понимает вопросы кенийского фермера на суахили или записи бразильского врача на португальском.
Хотя это поднимает вопросы совместимости и стандартов. Если я пользуюсь русской моделью, а ты — индийской, сможем ли мы эффективно сотрудничать? Как сделать так, чтобы они говорили на одном концептуальном языке?
Это следующий вызов. Нам понадобится слои перевода не только языка, но и концептуальных рамок. Потому что эти модели не просто говорят на разных языках — они мыслят в разных культурных контекстах. Понимание «приватности» русской моделью — сформированное другой историей государственной слежки и личного пространства — может тенко отличаться от понимания индийской моделью, обученной на других правовых традициях и социальных нормах. Навести между ними мосты — глубокая задача.
Так что настоящая многоязычная задача — не просто лингвистическая, а концептуальная. Речь о согласовании мировоззрений, а не только слов.
Вот здесь и будут самые интересные исследования в ближайшие годы. Не просто в улучшении токенизаторов или в наращивании наборов данных, а в создании моделей, которые умеют ориентироваться в этих концептуальных различиях и при этом сохранять культурную специфику. Речь о метамоделях, которые смогут дирижировать этими специалистами, как переводчик в Организации Объединённых Наций, который не просто переводит слова, а выступает посредником в передаче смысла.
Что ж, Дэниел, это была увлекательная кроличья нора. Спасибо, что отправили нас в неё. Это напоминание о том, что мир искусственного интеллекта намного больше и разнообразнее, чем кажется по заголовкам.
Верно. А для наших слушателей: если вам нравятся эти глубокие погружения в мировой ландшафт искусственного интеллекта, короткий отзыв в приложении для подкастов помогает нам находить новых слушателей, которым может быть интересен именно такой разбор. Это правда многое меняет.
Ссылки на некоторые исследования, о которых мы говорили, — исследование Яндекса, научные статьи Сарвама об архитектуре — мы поместим в описании к выпуску. Это был Май Вирд Промптс, до встречи в следующий раз.
Как всегда, спасибо нашему продюсеру Хильберту Флумингтопу и огромное спасибо Модал за кредиты на графические процессоры, на которых работает наше шоу. До скорой встречи.
