Нейросеть на своём сервере: когда данные нельзя отдавать в облако
Когда бизнесу нужна локальная нейросеть на своём оборудовании: какие задачи она решает, какое железо нужно, чем уступает облачным моделям и как начать.
Юрист компании просит нейросеть найти рискованные пункты в договоре и вставляет текст целиком: реквизиты клиента, суммы, условия. Ответ полезный. Только договор теперь лежит на серверах внешнего сервиса, и компания не знает, сколько он там хранится и кто имеет к нему доступ. Для части документов это нарушение договора с клиентом или закона о персональных данных.
Альтернатива: запустить модель у себя. Текст не покидает ваш сервер, внешних подписок нет, работа не зависит от доступности чужого сервиса. Мы сами так работаем: часть текстов, озвучка и проверка роликов для этого блога делаются моделями на нашем собственном компьютере с видеокартой. Ниже честно о том, когда это оправдано, что нужно и где локальная модель уступает облачной.
Облачная модель или своя: сравнение
| Что важно | Облачный сервис | Модель на своём сервере |
|---|---|---|
| Где данные | У поставщика сервиса | Только у вас |
| Качество ответов | Самые сильные модели | Ниже на сложных задачах, достаточно на типовых |
| Расходы | Подписка или оплата за запросы | Оборудование и электричество, без оплаты за запрос |
| Зависимость | От доступности и правил сервиса | От вашего оборудования |
| Запуск | Сразу | Подбор модели, установка, настройка |
Своя модель в первую очередь нужна тем, кому нельзя отдавать данные наружу. Экономия на подписке здесь второстепенна.
Когда локальная модель оправдана
- Персональные данные и коммерческая тайна. Договоры, медицинские записи, переписка с клиентами, внутренняя финансовая отчётность.
- Большой поток однотипных задач. Классификация обращений, извлечение полей из документов, черновики ответов: при постоянной нагрузке оплата за каждый запрос во внешнем сервисе быстро растёт.
- Работа без внешней сети. Закрытый контур, производство, объекты с нестабильным интернетом.
- Требования заказчиков. Крупные клиенты всё чаще прямо запрещают передавать их документы сторонним сервисам.
Какие задачи локальная модель решает хорошо
Шаг 1
Поиск и ответы по документам
Ассистент сотрудников по регламентам: модель отвечает только по найденным фрагментам и даёт ссылку.
Шаг 2
Разбор входящих
Определить тему обращения, вытащить из письма номер заказа и телефон, направить в нужный отдел.
Шаг 3
Черновики текстов
Ответы клиентам, описания товаров, пересказ длинных документов. Финальную версию проверяет человек.
Шаг 4
Распознавание речи и озвучка
Расшифровка звонков и совещаний, озвучка роликов без отправки записей наружу.
Сложные рассуждения, длинные документы целиком и творческие задачи лучше даются крупным облачным моделям. Часто работает гибрид: чувствительные данные обрабатываются локально, а обезличенные задачи уходят в облако.
Что нужно из оборудования
Главное требование: видеокарта с достаточным объёмом памяти. Чем больше модель, тем больше памяти ей нужно. На нашем опыте рабочая станция с одной игровой видеокартой на 10 ГБ памяти уверенно справляется с распознаванием речи, озвучкой и моделью среднего размера для текстов, если задачи идут по очереди. Для одновременной работы многих сотрудников нужен сервер мощнее. Точную конфигурацию подбираем после того, как понятны задачи и объём.
Сколько стоит
| Решение | Цена | Комментарий |
|---|---|---|
| Локальное развёртывание ИИ | по запросу | Модель на вашем оборудовании: зависит от задач и железа |
| ИИ-бот с базой знаний | от 20 000 ₽ | Можно развернуть на локальной модели |
| ИИ-ассистент сотрудников | от 20 000 ₽ | Помощник для внутренних задач команды |
| ИИ-агент с внешними инструментами | от 30 000 ₽ | Сам обращается к сервисам и данным |
Локальное развёртывание оцениваем после разбора задач: какие документы, сколько запросов в день, сколько пользователей одновременно и есть ли у вас подходящее оборудование. Как работает ассистент по документам, разобрано в статье «ИИ-ассистент для сотрудников». Пример того, что умеют локальные модели в видео, в материале «Видео для бизнеса без съёмок».
Как мы делаем
Разбираем задачи и требования к данным, проверяем несколько моделей на ваших примерах, подбираем оборудование или используем имеющееся, разворачиваем модель и интерфейс (Telegram, веб-окно или API для ваших программ). Сдаём с журналом запросов и инструкцией по обновлению моделей. Подробнее на странице ИИ-агентов и ассистентов, предварительная смета в калькуляторе.
Частые вопросы
Локальная модель так же умна, как облачная?
На сложных рассуждениях нет. На типовых задачах с понятными правилами (поиск по документам, извлечение полей, черновики) разница часто незаметна.
Нужен ли интернет?
Для работы нет. Интернет нужен только для загрузки и обновления моделей.
Можно ли запустить модель на обычном сервере без видеокарты?
Маленькие модели работают и на процессоре, но медленно. Для комфортной работы нужна видеокарта.
Кто обновляет модель?
Мы оставляем инструкцию и можем обновлять сами в рамках сопровождения.
Коротко
- Своя модель нужна, когда данные нельзя передавать во внешний сервис.
- Хорошо решает поиск по документам, разбор входящих, черновики, распознавание речи и озвучку.
- Уступает облачным моделям на сложных рассуждениях, поэтому часто выбирают гибрид.
- Главное в оборудовании: видеокарта с достаточной памятью; цена развёртывания по запросу.
Следующий шаг: опишите задачу через калькулятор или посмотрите все услуги на rktsocial.com.