隨著大模型，尤其是開源大模型的持續(xù)進(jìn)化，具備復(fù)雜推理能力的模型正在逐步應(yīng)用于各行各業(yè)，并展現(xiàn)出超越人類專家的潛力。得益于此，未來的算力建設(shè)將更加聚焦于推理場(chǎng)景，而不僅僅是訓(xùn)練算力。

華福證券的研究指出，到2027年，推理端的人工智能服務(wù)器預(yù)計(jì)將占整體工作負(fù)載的72.6%。同時(shí)，OpenAI o1 所代表的大模型推理場(chǎng)景的 Scaling Law 也進(jìn)一步助推了這一趨勢(shì)的加速發(fā)展。

然而，盡管模型的效果有了顯著的提升，數(shù)百億參數(shù)、上百萬上下文的一線模型在實(shí)際部署中仍面臨高成本和低效率的挑戰(zhàn)。這一現(xiàn)象導(dǎo)致了難以破解的“不可能三角”。

為了應(yīng)對(duì)這一困境，亟需新型推理架構(gòu)，打破傳統(tǒng)主要為訓(xùn)練場(chǎng)景設(shè)計(jì)，以高端 GPU 為中心的算力架構(gòu)設(shè)計(jì)思路。

在此背景下，趨境科技推出了“大模型知識(shí)推理一體機(jī)”，其搭載的業(yè)界首創(chuàng)的全系統(tǒng)推理架構(gòu)能夠通過協(xié)同存儲(chǔ)、CPU、GPU、NPU等多種設(shè)備，充分釋放異構(gòu)算力，將推理成本降低10倍以上。

這一創(chuàng)新為企業(yè)實(shí)現(xiàn)大模型的高效落地提供了全新選擇，開啟了通向“推理自由”的新途徑。

趨境大模型知識(shí)推理一體機(jī)不僅支持本地部署數(shù)百億級(jí)別的一線大模型，還提供開放的API接口，便于第三方靈活調(diào)用。同時(shí)，用戶可根據(jù)需求定制企業(yè)智能助手（assistant/copilot），實(shí)現(xiàn)真正的“開箱即用”。

協(xié)同 HBM/DRAM/SSD 和 CPU/GPU/NPU 全系統(tǒng)異構(gòu)設(shè)備，充分釋放異構(gòu)存力和算力資源

與當(dāng)前行業(yè)主要針對(duì) GPU 算力利用率進(jìn)行單點(diǎn)優(yōu)化的傳統(tǒng)方案相比，趨境科技大模型知識(shí)推理一體機(jī)采用了業(yè)界首創(chuàng)的全系統(tǒng)推理架構(gòu)。

其通過“以存換算”技術(shù)釋放存力作為算力的補(bǔ)充，降低對(duì)算力的需求；同時(shí)采用“異構(gòu)協(xié)同”的思路，緊密聯(lián)動(dòng) HBM/DRAM/SSD 和 CPU/GPU/NPU 全系統(tǒng)異構(gòu)設(shè)備，突破顯存容量的限制，充分釋放全系統(tǒng)的存力和算力。

這一創(chuàng)新方案突破了以往方案的理論優(yōu)化極限，實(shí)現(xiàn)了整合機(jī)器所有異構(gòu)算力資源的目標(biāo)，使得推理吞吐量提升超過10倍，大幅降低了大模型的落地成本。

此外，據(jù)財(cái)通證券發(fā)布的行業(yè)深度分析報(bào)告統(tǒng)計(jì)顯示，國產(chǎn)GPU產(chǎn)品在單精度/半精度浮點(diǎn)算力、制程及顯存容量上都與英偉達(dá)有2-4倍的顯著差距。因此，僅依靠GPU單點(diǎn)優(yōu)化，短時(shí)間內(nèi)很難趕超英偉達(dá)GPU方案。

而采用全系統(tǒng)推理架構(gòu)可以大幅降低GPU性能差距的影響，顯著提升國產(chǎn)替代解決方案的競(jìng)爭力，打破在大模型推理場(chǎng)景下國產(chǎn)GPU“卡脖子”的困境。

以存換算新范式，從“死記硬背”到“融合推理”

早期的大模型推理架構(gòu)將每次推理視為獨(dú)立請(qǐng)求，缺乏高效處理所需的“記憶”能力。盡管后續(xù)引入了近似問題緩存（Semantic Query Cache）和前綴緩存（Prefix KVCache Cache），但仍主要依賴于“死記硬背”。這些方案要求新問題與已處理問題高度一致才能利用緩存去降低算力需求。

針對(duì)這一問題，趨境科技創(chuàng)新性地設(shè)計(jì)了“融合推理（Fusion Attention）”技術(shù)，即便是面對(duì)全新的問題也可以從歷史相關(guān)信息中提取可復(fù)用的部分內(nèi)容，與現(xiàn)場(chǎng)信息進(jìn)行在線融合計(jì)算。這一技術(shù)顯著提升了可復(fù)用的歷史計(jì)算結(jié)果，進(jìn)而降低了計(jì)算量。

通過這一新思路，趨境大模型知識(shí)推理一體機(jī)充分利用了存儲(chǔ)資源。采用“以存換算”的方式釋放存力作為對(duì)于算力的補(bǔ)充，在RAG場(chǎng)景中，響應(yīng)延遲降低20倍，性能提升達(dá)10倍。

全系統(tǒng)異構(gòu)協(xié)同新架構(gòu)，從GPU單點(diǎn)優(yōu)化到全系統(tǒng)協(xié)同優(yōu)化

除了通過“以存換算”降低算力需求外，趨境大模型知識(shí)推理一體機(jī)還進(jìn)一步通過全系統(tǒng)異構(gòu)協(xié)同架構(gòu)設(shè)計(jì)，將來自存儲(chǔ)、CPU、GPU、NPU的算力高效融合，進(jìn)一步提升大模型推理性能，降低成本。

此前，趨境科技與清華 KVCache.AI 團(tuán)隊(duì)合作，開源了一部分異構(gòu)推理框架，項(xiàng)目名為“KTransformers”（GitHub鏈接：https://github.com/kvcache-ai/ktransformers），該開源框架僅需單個(gè)消費(fèi)級(jí) GPU 即可在本地運(yùn)行 Mixtral 8x22B 和DeepSeek-Coder-V2 等千億級(jí)大模型，性能數(shù)倍于 Llama.cpp。

在長達(dá) 1M 的超長上下文推理任務(wù)中，成為業(yè)界首個(gè)僅需單 GPU 卡的高性能推理框架，生成速度達(dá)到 16.91 token/s，比 Llama.cpp 快10倍以上，同時(shí)維持接近滿分的“大海撈針”能力。

趨境科技大模型知識(shí)推理一體機(jī)采用的全系統(tǒng)推理架構(gòu)是基于“KTransformers”進(jìn)一步完善的商業(yè)版本，在開源版的基礎(chǔ)上，協(xié)同性能更強(qiáng)，加入了多卡高并發(fā)調(diào)度、RAG支持等策略。經(jīng)過測(cè)試及客戶合作驗(yàn)證，Prefill 和 Generate 性能大幅領(lǐng)先業(yè)界方案：

Prefill階段的 TTFT（響應(yīng)延遲）相比業(yè)界方案快6倍以上

Generate階段的 TPOT（生成速度）相比業(yè)界方案快3.48倍以上

趨境x長亭：為安全大模型開啟千億大模型時(shí)代

國內(nèi)頂尖的網(wǎng)絡(luò)信息安全公司長亭科技，使用趨境科技提供的全系統(tǒng)異構(gòu)推理架構(gòu)技術(shù)策略，無縫銜接到其原有的“問津（ChaitinAI）安全大模型”、MSS 安全托管服務(wù)等產(chǎn)品中，問津（ChaitinAI）安全大模型升級(jí)為千億大模型，安全性能全方位升級(jí)：

核心指標(biāo)攻擊識(shí)別準(zhǔn)確率提升至95.8%，檢測(cè)時(shí)延降低至秒級(jí)。另外，其對(duì)漏洞的檢測(cè)能力增強(qiáng)，不僅提升漏洞發(fā)現(xiàn)數(shù)量，對(duì)應(yīng)的修復(fù)建議也更準(zhǔn)確，還能基于不同場(chǎng)景選擇更合適的工具和策略。同時(shí)，對(duì)不良內(nèi)容識(shí)別能力升級(jí)，準(zhǔn)確率和召回率均有提升。安全報(bào)告內(nèi)容生成質(zhì)量和評(píng)分也顯著提高，綜合輸出更具健壯性和穩(wěn)定性。

此外，長亭科技的安全大模型的部署資源成本降低50%，助推其更多業(yè)務(wù)加入大模型能力。

技術(shù)的不斷進(jìn)步和市場(chǎng)需求為大模型的未來發(fā)展提供了廣闊的空間。隨著算力基礎(chǔ)設(shè)施的不斷完善，提升算力的利用效率，使大模型能與更多的行業(yè)實(shí)踐結(jié)合起來，未來大模型將在更多行業(yè)中發(fā)揮更大的作用。

趨境目前也正在和更多的大模型應(yīng)用廠商一同協(xié)作，希望助推全面智能化的到來。