KazLLM, AlemLLM или зарубежные open-weight модели: как выбрать модель для закрытого контура
Содержание
Для закрытой ИИ-системы нужна модель, которую можно развернуть на своей инфраструктуре или в казахстанском облаке. Выбор шире, чем кажется: есть казахстанские модели и десятки международных моделей с открытыми весами. Правильный выбор зависит не от рейтингов, а от ваших документов, языков и задач.
Казахстанские модели
Казахстан развивает собственные языковые модели. По опубликованным данным, среди них KazLLM, AlemLLM и компактная Sherkala, с размерами порядка 70, 246 и 8 миллиардов параметров соответственно. Они ориентированы на казахский, русский и смешанный языковой контекст. AlemLLM, по сообщениям, используется в закрытом государственном контуре для прикладных задач.
Параметры, лицензии и условия доступа к весам стоит проверять по первоисточникам на момент проекта: они меняются.
Международные open-weight модели
Модели с открытыми весами от международных разработчиков доступны в разных размерах и хорошо работают на русском языке. Качество на казахском у них различается и требует проверки.
Критерии выбора
| Критерий | Что проверять |
|---|---|
| Языки | качество на казахском, русском и смешанной речи именно ваших документов |
| Терминология | понимание отраслевых и научных терминов |
| Качество с поиском | точность ответов по найденным фрагментам и корректность ссылок |
| Скорость | время ответа на вашей инфраструктуре |
| Требования к оборудованию | сколько памяти GPU нужно для приемлемой скорости |
| Лицензия | разрешено ли использование в вашем сценарии |
| Поддержка и обновления | кто выпускает новые версии и как часто |
Не одна модель, а несколько
В промышленной системе часто работают несколько моделей:
- компактная модель для классификации и обезличивания;
- отдельная модель для поиска по смыслу;
- более сильная модель для сложных ответов;
- модель для распознавания сканов и изображений.
Такой подход дешевле и безопаснее, чем направлять все запросы в одну крупную модель.
Типовые ошибки
- выбор самой большой модели «на всякий случай» и переплата за оборудование;
- выбор по общим рейтингам без теста на своих документах;
- игнорирование лицензии;
- отсутствие плана обновления модели.
Частые вопросы
Обязательно ли использовать казахстанскую модель в госучреждении?
Это зависит от требований конкретного учреждения и проекта. В любом случае национальные модели стоит включить в сравнение.
Нужно ли дообучать модель на наших документах?
Обычно нет. Поиск по документам с генерацией ответа даёт актуальные знания без дообучения и позволяет удалять документы.
Как часто менять модель?
Когда появляется версия, которая лучше проходит ваш эталонный набор. Сам набор вопросов становится инструментом для таких решений.
