Свой сервер с GPU или облако в Казахстане: как считать стоимость ИИ-платформы
Содержание
Когда организация решает внедрить ИИ в закрытом контуре, первым вопросом часто становится покупка сервера с видеокартами. Это дорогое решение, которое легко принять слишком рано. Правильнее сначала понять нагрузку, требования к данным и качество, которое нужно получить.
Три варианта размещения
| Вариант | Затраты на старте | Текущие затраты | Когда подходит |
|---|---|---|---|
| Внешний API | низкие | по объёму запросов | только публичные и обезличенные данные |
| GPU в казахстанском ЦОД | нет или низкие | аренда помесячно | персональные данные, требования локализации, переменная нагрузка |
| Собственный сервер | высокие | электричество, размещение, обслуживание | постоянная высокая нагрузка, изолированный контур |
Законодательство Казахстана требует хранить персональные данные на территории страны. Для НИИ и учреждений это делает аренду GPU в казахстанском дата-центре разумной серединой между зарубежным API и покупкой оборудования.
Ориентиры по аренде
Казахстанские провайдеры публикуют цены на аренду серверов с GPU. По открытым прайсам разброс большой: от сотен тысяч тенге в месяц за начальные конфигурации до миллионов тенге за серверы с ускорителями уровня A100 и H100. Цены зависят от модели GPU, памяти, дисков, уровня обслуживания и режима работы, поэтому перед расчётом их нужно запрашивать актуальными.
Из чего складывается стоимость, кроме GPU
- серверы для распознавания документов, поиска и подготовки данных;
- хранилище документов и поисковый индекс;
- резервные копии;
- мониторинг, управление доступом, журналирование;
- каналы связи;
- обновление моделей и эксплуатация;
- проектирование, оценка качества и защита от утечек;
- резервирование, если система критична.
Что определяет требуемую мощность
- размер модели и требуемое качество ответов;
- число одновременных пользователей;
- длина контекста: сколько текста модель обрабатывает за раз;
- допустимое время ответа;
- объём документов для первичной обработки.
Правильная последовательность
- Классифицировать данные и требования безопасности.
- Запустить пилот на обезличенной выборке.
- Измерить скорость, задержку, нагрузку и качество.
- Сравнить варианты по стоимости владения за три года.
- Только после этого выбирать и покупать оборудование, если оно нужно.
Частые вопросы
Можно ли начать с одной рабочей станции?
Для пилота в одной лаборатории или отделе да. Для многопользовательской системы нужна серверная инфраструктура.
Что дешевле в долгосрочной перспективе?
При постоянной высокой нагрузке собственный сервер может окупиться. При переменной нагрузке аренда обычно выгоднее.
Как быть, если закупка оборудования идёт через госзакупки?
Тем более важно сначала провести пилот: техническая спецификация для закупки должна опираться на замеры, а не на предположения.
