Пилот ИИ в госучреждении или НИИ: от аудита до промышленной эксплуатации
Содержание
Многие ИИ-проекты в учреждениях заканчиваются на стадии красивой демонстрации. Демо работает на подготовленных вопросах, а на реальных документах качество падает, служба ИБ задаёт вопросы, на которые нет ответов, и проект замирает. Правильно спланированный пилот отвечает на все эти вопросы до масштабирования.
Этап 1. AI Readiness Audit
- какие задачи сотрудники хотят решать;
- какие документы и данные для этого нужны;
- классификация данных и требования ИБ;
- инфраструктура и варианты размещения;
- ожидаемая польза в часах и деньгах.
Результат: один-два сценария для пилота и требования к нему.
Этап 2. Выбор сценария
Хороший сценарий для пилота:
- понятная польза: экономия времени на конкретной задаче;
- ограниченный массив документов;
- заинтересованные пользователи, готовые тестировать;
- измеримый результат.
Например: поиск по архиву отчётов одного отдела или ответы сотрудникам по внутренним регламентам.
Этап 3. Эталонный набор
Вместе с будущими пользователями составляется 50-100 реальных вопросов с правильными ответами и источниками. Это главный инструмент оценки: по нему сравниваются модели, настройки и версии системы.
Этап 4. Пилотная система
- загрузка документов и построение индекса;
- одна или несколько моделей для сравнения;
- права доступа и журнал;
- интерфейс для пилотной группы.
Этап 5. Оценка
| Метрика | Что показывает |
|---|---|
| Точность ответов | доля правильных ответов на эталонные вопросы |
| Корректность ссылок | ведут ли ссылки на правильные фрагменты |
| Утечки между ролями | выдаёт ли система закрытые документы |
| Скорость | время ответа |
| Оценка пользователей | полезность в реальной работе |
| Экономия времени | сколько времени экономит сценарий |
Этап 6. Подготовка к эксплуатации
- документация для службы ИБ;
- выбор и расчёт инфраструктуры по результатам замеров;
- регламенты обновления и поддержки;
- план расширения на другие сценарии.
Сроки
Аудит занимает 1-2 недели, пилот обычно несколько недель в зависимости от объёма документов и процедур согласования в организации.
Частые вопросы
Сколько пользователей нужно для пилота?
Обычно 5-20 человек, которые реально будут пользоваться системой в работе.
Нужно ли покупать оборудование для пилота?
Нет, пилот можно провести на арендованных мощностях в Казахстане или на обезличенных данных.
Что если пилот не прошёл порог качества?
Это тоже результат: понятно, что нужно улучшить или что сценарий пока не подходит для ИИ. Деньги на масштабирование при этом не потрачены.
