벤처스퀘어
한눈에 보기
VESSL AI, a neocloud company, provided global inference infrastructure for Upstage's LLM Solar Pro 4, which ranked third in usage on OpenRouter last September. Using GPU clusters in Korea, Europe and the US plus cache-hit and quantization optimizations, it supported growth in daily token processing from 8 billion to 155 billion, with processing speed up 2x on average (up to 3x) and cost per token cut by up to 50%, according to the company.
Learn more新云企业VESSL AI为Upstage的大语言模型Solar Pro 4提供了全球推理基础设施,该模型在去年9月的OpenRouter使用量排名中位列第三。该公司利用韩国、欧洲和美国的GPU集群以及缓存命中率与模型量化等优化技术,支持每日令牌处理量从80亿增至1550亿,据称推理速度平均提升2倍(最高3倍),每令牌成本最多降低50%。
了解更多ネオクラウド企業のVESSL AIは、UpstageのLLM「Solar Pro 4」にグローバル推論インフラを提供した。同モデルは9月にOpenRouterの利用量で3位となった。韓国・欧州・米国のGPUクラスターとキャッシュヒット率改善・モデル量子化などの最適化により、日次トークン処理量が80億から1550億に増加する中、同社によると処理速度は平均2倍(最大3倍)に向上し、トークン当たりコストは最大50%削減された。
詳しく見るVESSL AI, entreprise de néocloud, a fourni l'infrastructure d'inférence mondiale au LLM Solar Pro 4 d'Upstage, classé troisième en usage sur OpenRouter en septembre. Grâce à des clusters GPU en Corée, en Europe et aux États-Unis, ainsi qu'à des optimisations (taux de succès du cache, quantification), le traitement quotidien de jetons est passé de 8 à 155 milliards, avec une vitesse moyenne doublée (jusqu'à 3x) et un coût par jeton réduit jusqu'à 50 %, selon l'entreprise.
En savoir plus