오케스트로, 동일 GPU로 AI 추론 처리량 62.8% 높인 검증 결과 공개…27일 웨비나

OKESTRO, an AI infrastructure software company, released performance test results showing its AI inference platform CONCERTO A.I. raised inference throughput by 62.8% on the same GPU resources and cut token generation latency by 52.1%. It applies disaggregated inference that separates the prefill and decode stages, and uses NetApp storage with GPUDirect Storage-based KV cache offloading to shorten model weight loading from 71 to 8 seconds. The company will present these results at an online webinar on October 27 at 2 p.m., noting that the figures were measured in a specific test environment.

AI基础设施软件企业OKESTRO公布了性能验证结果：其AI推理运营平台CONCERTO A.I.在相同GPU资源下，推理吞吐量提升62.8%，令牌生成延迟降低52.1%。该平台采用将预填充与解码阶段分离的分布式推理技术，并借助NetApp存储与基于GPUDirect Storage的KV缓存卸载，将模型权重加载时间从71秒缩短至8秒。公司将于10月27日下午2点举办线上网络研讨会介绍相关成果，并说明这些数据是在特定验证环境中测得的。

AIインフラソフトウェア企業のオーケストロは、AI推論運用プラットフォーム「CONCERTO A.I.」が同じGPUリソースで推論スループットを62.8%向上させ、トークン生成遅延を52.1%削減した性能検証結果を公開した。プリフィルとデコードを分離する分散推論技術に加え、NetAppのストレージとGPUDirect StorageベースのKVキャッシュオフロードを活用し、モデルの重みの読み込み時間を71秒から8秒に短縮した。10月27日午後2時にオンラインウェビナーで紹介する予定で、数値は特定の検証環境での測定結果だと断っている。

OKESTRO, éditeur de logiciels d'infrastructure d'IA, a publié les résultats d'un test de performance : sa plateforme d'exploitation de l'inférence CONCERTO A.I. a augmenté le débit d'inférence de 62,8 % avec les mêmes ressources GPU et réduit la latence de génération de jetons de 52,1 %. Elle repose sur une inférence distribuée séparant les phases de préremplissage et de décodage, et sur un déchargement du cache KV via GPUDirect Storage avec le stockage NetApp, ce qui ramène le chargement des poids du modèle de 71 à 8 secondes. L'entreprise présentera ces résultats lors d'un webinaire en ligne le 27 octobre à 14 h, en précisant que les chiffres ont été mesurés dans un environnement de test précis.