[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"news-detail-c0f6ec17-a0ca-4407-8df9-99f77c6a1140":3},{"id":4,"title":5,"status":6,"date_created":7,"content":8,"preview":9,"quote":10,"quoteAuthor":10,"quoteAuthorTitle":10,"afterQuoteText":10,"poster":11,"description":10},"c0f6ec17-a0ca-4407-8df9-99f77c6a1140","Представлена технология аппаратного AI KV-cache offloading от «Тантор Лабс» с управлением в «Платформе Боцман»","published","2026-10-23T15:49:22.668Z","\u003Cp dir=\"ltr\">Технологический лидер в сфере СУБД компания «Тантор Лабс» и разработчик платформы контейнеризации и управления ИИ-инфраструктурой «Платформа Боцман» (обе компании входят в «Группу Астра») представили новую программно-аппаратную технологию хранения кэша ключей и значений (KV-cache) без использования DRAM . В отличие от решений с программной оптимизацией кэширования, уникальная для российского рынка технология работает на уровне специализированного оборудования и позволяет использовать для кеша нейросетей специализированное NVMe-хранилище контекстной памяти (context memory storage), снижая зависимость от ограниченного объёма дорогостоящей HBM-памяти GPU и DRAM. Это резко увеличивает число одновременно обслуживаемых пользователей, ускоряет инференс и сокращает задержки обработки запросов, масштабируя корпоративные ИИ-сервисы без пропорционального увеличения количества ускорителей. При этом скорость доступа к данным сопоставима с показателями DRAM, но с более низкой стоимостью за каждый терабайт.\u003C\u002Fp>\n\u003Cp dir=\"ltr\">По мере роста числа пользователей корпоративных ИИ-сервисов и длины контекста нейросетей увеличивается объём KV-cache — кэша промежуточных вычислений, необходимых для генерации ответов большими языковыми моделями. В процессе эксплуатации кэш увеличивается вместе с длиной контекста и количеством пользователей, занимает значительную часть ограниченной видеопамяти GPU, и когда доступного объёма не хватает, инфраструктуре приходится ограничивать число одновременных запросов, задействовать дополнительные ресурсы или выполнять вычисления повторно. Это увеличивает задержки и стоимость эксплуатации ИИ-сервисов.\u003C\u002Fp>\n\u003Cp>\u003Cimg src=\"https:\u002F\u002Fdashboard.bootsman.pro\u002Fassets\u002F4736b836-9d0d-4735-b865-bdf4374e1105.png?width=978&height=472\" alt=\"Без Заголовка\">\u003C\u002Fp>\n\u003Cp>\u003Cstrong id=\"docs-internal-guid-372f0667-7fff-ffe5-0a31-9faeac256627\">Решение опирается на программно-аппаратный модуль, позволяющий переносить KV-cache из ограниченной HBM-видеопамяти GPU во внешнее NVMe-хранилище по протоколу RDMA и повторно использовать сохранённые данные при обработке запросов. В отличие от подходов, основанных на только программной организации внешнего кэширования, решение использует специализированный аппаратный KV-движок доступа к данным по ключу. Он ускоряет операции с KV-cache, резко снижая нагрузку на центральные процессоры серверов и позволяя эффективнее использовать ресурсы GPU. Решение интегрируется с vLLM, LMCache и NVIDIA Dynamo и встраивается под существующий стек инференса без переписывания прикладного кода.\u003C\u002Fstrong>\u003C\u002Fp>\n\u003Cp>\u003Cstrong>\u003Cimg src=\"https:\u002F\u002Fdashboard.bootsman.pro\u002Fassets\u002Fca246611-bb6b-447d-9c22-f6c9706e0ece.jpg?width=580&height=335\" alt=\"2\">\u003C\u002Fstrong>\u003C\u002Fp>\n\u003Cp class=\"MsoNormal\">Архитектура аппаратного модуля обеспечивает низколатентный доступ к данным в рамках распределённой инфраструктуры \u003Cspan lang=\"EN\">Storage\u003C\u002Fspan> \u003Cspan lang=\"EN\">AI\u003C\u002Fspan> с использованием сетевых адаптеров 400 \u003Cspan lang=\"EN\">GbE\u003C\u002Fspan> (\u003Cspan lang=\"EN\">ConnectX\u003C\u002Fspan>‑7),технологий \u003Cspan lang=\"EN\">RDMA\u003C\u002Fspan> и \u003Cspan lang=\"EN\">NVMe\u003C\u002Fspan>-\u003Cspan lang=\"EN\">oF\u003C\u002Fspan>. \u003Cspan lang=\"EN\">GPU\u003C\u002Fspan>-серверы с движком инференса \u003Cspan lang=\"EN\">vLLM\u003C\u002Fspan> взаимодействуют с отдельным узлом хранения на базе \u003Cspan lang=\"EN\">NVMe\u003C\u002Fspan> \u003Cspan lang=\"EN\">SSD\u003C\u002Fspan>. Аппаратный модуль ускоряет инференс, сохраняет вычисленные \u003Cspan lang=\"EN\">KV\u003C\u002Fspan>‑кэши в распределенное масштабируемое хранилище \u003Cspan lang=\"EN\">Storage\u003C\u002Fspan> \u003Cspan lang=\"EN\">AI\u003C\u002Fspan>, загружает при повторных запросах, избегая перерасчетов, а также распределяет их между \u003Cspan lang=\"EN\">GPU\u003C\u002Fspan>, \u003Cspan lang=\"EN\">vLLM\u003C\u002Fspan>‑экземплярами и пользователями. Это позволяет эффективнее использовать видеопамять и поддерживать рост нагрузки без пропорционального увеличения количества \u003Cspan lang=\"EN\">GPU\u003C\u002Fspan>.\u003C\u002Fp>\n\u003Cp class=\"MsoNormal\">Новое решение от «Тантор Лабс» и «Платформы Боцман» также позволяет реализовать дезагрегацию вычислительных ресурсов и хранения контекстной памяти (\u003Cspan lang=\"EN\">Compute\u003C\u002Fspan>–\u003Cspan lang=\"EN\">KV\u003C\u002Fspan> \u003Cspan lang=\"EN\">Storage\u003C\u002Fspan> \u003Cspan lang=\"EN\">Disaggregation\u003C\u002Fspan>) — архитектуру, в которой \u003Cspan lang=\"EN\">GPU\u003C\u002Fspan>-серверы выполняют инференс, а \u003Cspan lang=\"EN\">KV\u003C\u002Fspan>-\u003Cspan lang=\"EN\">cache\u003C\u002Fspan> хранится отдельно, в общем масштабируемом \u003Cspan lang=\"EN\">NVMe\u003C\u002Fspan>-хранилище. Благодаря этому контекстная память становится доступной всем \u003Cspan lang=\"EN\">GPU\u003C\u002Fspan>-серверам инфраструктуры, а её использование не привязано к конкретному ускорителю или серверу. При этом не требуется отдельно оркестрировать распределение кэша между серверами: аппаратный модуль обеспечивает доступ к сохранённым данным и их повторное использование, помогая эффективнее задействовать вычислительные ресурсы и масштабировать ИИ-сервисы независимо от объёмов вычислений и хранимого контекста.\u003C\u002Fp>\n\u003Cp class=\"MsoNormal\">Программная поддержка внешнего хранения \u003Cspan lang=\"EN\">KV\u003C\u002Fspan>-\u003Cspan lang=\"EN\">cache\u003C\u002Fspan> и интеграция в инфраструктуру эксплуатации ИИ-моделей реализованы в Платформе «Боцман», которая обеспечивает развёртывание, публикацию, обновление и масштабирование, управление вычислительными ресурсами на базе \u003Cspan lang=\"EN\">Kubernetes\u003C\u002Fspan>, маршрутизацию запросов через \u003Cspan lang=\"EN\">OpenAI\u003C\u002Fspan>-совместимый \u003Cspan lang=\"EN\">API\u003C\u002Fspan>, а также мониторинг и контроль потребления ресурсов. Таким образом, заказчик получает уникальную для рынка готовую технологию, встроенную в процессы эксплуатации и масштабирования ИИ-сервисов.\u003C\u002Fp>\n\u003Cp class=\"MsoNormal\">\u003Cem>\u003Cspan lang=\"EN\">«„Боцман“ обеспечивает промышленную эксплуатацию ИИ-моделей и управление всей инфраструктурой их работы. \u003C\u002Fspan>\u003C\u002Fem>\u003Cem>Интеграция хранилища контекстной памяти (\u003Cspan lang=\"EN\">context\u003C\u002Fspan>\u003C\u002Fem>\u003Cem> \u003Cspan lang=\"EN\">memory\u003C\u002Fspan>\u003C\u002Fem>\u003Cem> \u003Cspan lang=\"EN\">storage\u003C\u002Fspan>\u003C\u002Fem>\u003Cem>) дополняет эти возможности поддержкой программно-аппаратной оптимизации использования \u003Cspan lang=\"EN\">KV\u003C\u002Fspan>\u003C\u002Fem>\u003Cem>-\u003Cspan lang=\"EN\">cache\u003C\u002Fspan>\u003C\u002Fem>\u003Cem>, позволяя максимально удобно использовать новую технологию в рамках единой платформы управления ИИ-сервисами»,\u003C\u002Fem> — отметил \u003Cstrong>Михаил Кобик\u003C\u002Fstrong>, технический директор «Платформы Боцман».\u003C\u002Fp>\n\u003Cp class=\"MsoNormal\">В испытаниях на одинаковых серверах, \u003Cspan lang=\"EN\">LLM\u003C\u002Fspan> и нагрузке сравнивались конфигурации с использованием аппаратного решения и без него. Применение модуля позволило обслуживать в четыре раза больше клиентов на тех же \u003Cspan lang=\"EN\">GPU\u003C\u002Fspan>-мощностях при соблюдении заданных требований к задержке. Таким образом, заказчик получает «горячий» контекст на скорости, сопоставимой со скоростью памяти \u003Cspan lang=\"EN\">DRAM\u003C\u002Fspan>, при ёмкости и стоимости как у \u003Cspan lang=\"EN\">NVMe\u003C\u002Fspan>-накопителей. С точки зрения отдачи на вложенный бюджет стоимость на запрос и на токен становятся ниже, а один и тот же парк \u003Cspan lang=\"EN\">GPU\u003C\u002Fspan> позволяет обрабатывать больше запросов (\u003Cspan lang=\"EN\">RPS\u003C\u002Fspan>).\u003C\u002Fp>\n\u003Cp class=\"MsoNormal\">\u003Cimg src=\"https:\u002F\u002Fdashboard.bootsman.pro\u002Fassets\u002Face665be-1e82-4c14-b1cb-4dc9c805e259.jpg?width=695&height=275\" alt=\"3\">\u003C\u002Fp>\n\u003Cp class=\"MsoNormal\">\u003Cem>«Мы переносим опыт, накопленный в работе с аппаратными технологиями МБД \u003Cspan lang=\"EN\">Tantor\u003C\u002Fspan>\u003C\u002Fem>\u003Cem> \u003Cspan lang=\"EN\">XData\u003C\u002Fspan>\u003C\u002Fem>\u003Cem> \u003Cspan lang=\"EN\">Gen\u003C\u002Fspan>\u003C\u002Fem>\u003Cem>3, для решения задач, которые становятся критически важными в эпоху ИИ. Только программная оптимизация кэширования для ИИ решает часть проблемы, но создает сложности для эксплуатации и имеет заведомо меньшую производительность. Новое решение позволяет ускорить доступ к хранилищу контекстной памяти  (\u003Cspan lang=\"EN\">KV\u003C\u002Fspan>\u003C\u002Fem>\u003Cem>-\u003Cspan lang=\"EN\">cache\u003C\u002Fspan>\u003C\u002Fem>\u003Cem>), освобождая ресурсы серверов для вычислений. В сочетании с платформой „Боцман“ это формирует оптимальную основу для масштабирования ИИ-инфраструктуры, в которой производительность определяется не только мощностью \u003Cspan lang=\"EN\">GPU, но и тем, насколько эффективно организована работа с памятью нейросетей»,\u003C\u002Fspan>\u003C\u002Fem>\u003Cspan lang=\"EN\"> — прокомментировал \u003Cstrong>Вадим Яценко\u003C\u002Fstrong>, генеральный директор «Тантор Лабс».\u003C\u002Fspan>\u003C\u002Fp>"," ",null,"29cf7fd2-77e1-4644-9c99-07d21cfd607a"]