商湯大模型一體機可節約 80% 推理成本，完成雲端邊全棧佈局

昨日，商湯科技 SenseTime 在上海舉辦技術交流日活動。會上商湯發佈業內首個 “雲、端、邊” 全棧大模型產品矩陣，並推出全新升級的 “日日新 SenseNova 5.0” 大模型體系。

影響至股價方面，商湯 (00020.HK) 今日開盤後大幅上漲。隨後商湯在港交所公告稱，商湯集團的 B 類股份自 11 時 15 分起暫停交易，暫停前漲幅達到 31.15%。

日日新，出自《禮記·大學》中的 “苟日新、日日新、又日新”。承載了人們對以大模型為代表的 AI 技術浪潮迭代，和走向 AGI（通用人工智能）的期待。

目前，商湯 “日日新 SenseNova” 大模型體系已正式完成 5 個版本迭代，基於超過 10TB tokens 訓練、覆蓋大量合成數據，“日日新 SenseNova 5.0”（以下簡稱：「日日新 5.0」）採用混合專家架構，推理時上下文窗口可以有效到 200K 左右。

具體到更新能力上，此次主要集中增強了知識、數學、推理及代碼能力，全面對標 GPT-4 Turbo，主流客觀評測上達到或超越 GPT-4 Turbo。

「日日新 5.0」能力評測

以模型的文科能力為例，「日日新 5.0」創意寫作能力、推理能力以及總結能力均大幅提升，相同的中文知識注入後，可以獲得更好的理解總結及問答，為教育、內容產業等垂直應用場景提供有力輔助。

多模態能力方面，具體到應用產品中，「日日新 5.0」可支持高清長圖的解析和理解，以及文生圖交互式生成，也能實現複雜的跨文檔知識抽取及總結問答展示，還具備豐富的多模態交互能力。

「日日新 5.0」和 GPT-4 回答趣味推理問題：“媽媽給圓圓衝了一杯咖啡，圓圓喝了半杯後，將它加滿水，然後她又喝了半杯後，再加滿水，最後全部喝完。問圓圓喝的咖啡多，還是水多？”，「日日新 5.0」回答正確。

面對中心化算力需求向端側擴展的未來趨勢、和企業級在邊緣側的 AI 需求，商湯推出了 “雲、端、邊” 全棧大模型產品矩陣。其中包括應用於終端設備的 “商湯端側大模型”，及面向金融、代碼、醫療、政務等多個領域的邊緣產品 “商湯企業級大模型一體機”。

當前，金融、代碼、醫療、政務等行業邊緣側 AI 應用需求呈爆發式增長，但在實際落地場景中，企業仍面臨算力使用門檻高、能耗高等難題。

關注到這一現象，商湯尋求最優數據配比並建立數據質量評價體系，推動自身大模型研發的同時，也為行業夥伴提供大模型訓練、微調、部署和各類生成式 AI 的能力及服務。

會上，商湯推出端雲協同解決方案，可以通過智能化判斷協同發揮端雲各自優勢，需要聯網搜索或處理複雜場景時分流至雲端處理，部分場景端側處理佔比超過 80%，從而顯著降低推理成本。

比如近期火爆的小米汽車 SU7，其智能車艙中就應用了商湯的大模型技術。基於商湯端雲大模型解決方案，小米小愛同學可以為車主提供智能化的交互體驗。

同時在硬件方面，商湯本次發佈的企業級大模型一體機，可支持企業級千億模型加速和知識檢索硬件加速，實現本地化部署，即買即用，降低企業應用大模型的門檻。相比行業同類產品，推理成本節約 80%，檢索大大加速，CPU 工作負載 50%。

伴隨着尺度定律催生的模型性能大爆發，一方面，大模型發展已進入落地階段，如何與產業、應用場景結合是關鍵一環；另一方面，“ScalingLaw（尺度定律）” 路徑逐漸清晰，“湧現” 時刻不定出現，前瞻探索最先進的大模型技術也是重中之重。

商湯科技董事長兼 CEO 徐立表示：“商湯在尺度定律的指導下，會持續探索大模型能力的 KRE 三層架構（知識 - 推理 - 執行），不斷突破大模型能力邊界。”

本文作者：黃楠，來源：36 氪，原文標題：《「商湯」大模型一體機可節約 80% 推理成本，完成雲端邊全棧佈局｜最前線》