«Группа Астра», ведущий российский разработчик инфраструктурного программного обеспечения объявляет о выходе «Боцман AI» — платформы для запуска языковых и других моделей искусственного интеллекта внутри защищённого контура компании, без единого байта данных, уходящего во внешние облачные сервисы. Новинка снимает главное противоречие корпоративной ИИ-трансформации — получить всю мощь современных моделей и при этом полностью сохранить контроль над данными.
Новый продукт стал логичным расширением платформы «Боцман» — отечественного решения оркестрации контейнеров на базе Kubernetes, входящего в состав Astra Dev Platform и ориентированного на компании, которые строят внутренние платформы разработки и эксплуатируют приложения в изолированных или регулируемых инфраструктурах.
Проблема, которую решает «Боцман AI»
Сегодня бизнес хочет активно использовать языковые модели, однако требования информационной безопасности, регуляторные ограничения и внутренние политики зачастую исключают передачу данных во внешние сервисы. При этом развернуть модель самостоятельно до сих пор означало запускать отдельный инфраструктурный проект под каждую задачу: выбирать runtime, настраивать GPU, загружать веса, конфигурировать эндпоинты и мониторинг. Боцман AI берёт всю эту рутину на себя.
Принцип работы «Боцман AI»
Платформенная команда описывает модель через стандартный Kubernetes-ресурс, а всё остальное система делает автоматически. Она самостоятельно подготавливает хранилище весов и запускает runtime с нужным движком — будь то vLLM, Ollama, SGLang или FasterWhisper, после чего публикует модель через единый шлюз. Отдельного внимания заслуживает механизм обновлений — они происходят без образования окна недоступности, что особенно критично при работе с дорогостоящей GPU-инфраструктурой.
Совместимость и удобство для разработчиков
Разработчики приложений получают привычный OpenAI-совместимый API. Переписывать существующий код не нужно — достаточно сменить адрес сервиса, и приложение продолжит работу уже с корпоративной моделью, развёрнутой внутри контура компании.
Дополнительные возможности
Помимо базовой функциональности, платформа предлагает целый ряд инструментов для промышленной эксплуатации. В неё встроены автоматическое масштабирование под нагрузку, система биллинга и управление API-ключами с контролем бюджетов, что позволяет прозрачно распределять ресурсы между командами и проектами. Установка при этом остаётся максимально простой и выполняется через Боцман Apps & Marketplace в виде Helm-чарта.
