每一次工業(yè)革命 ,火山都為我們帶來了躍遷式發(fā)展。引擎云基用落當(dāng)以 AI 為代表的礎(chǔ)模又一次技術(shù)變革浪潮向我們奔來時(shí),企業(yè)如何才能獲得所必須的型服新發(fā)型技術(shù)支撐。為開啟通用人工智能時(shí)代做好充分準(zhǔn)備?多產(chǎn)大模地再12月18日,2024火山引擎FORCE原動(dòng)力大會(huì)·冬 技術(shù)主論壇,品更帶來了一系列全新產(chǎn)品及升級(jí)。企業(yè)幫助企業(yè)解決,提效落地大模型所面臨的火山實(shí)際問題。
字節(jié)跳動(dòng)基礎(chǔ)架構(gòu)負(fù)責(zé)人 趙鵬偉
“為了迎接通用人工智能時(shí)代的引擎云基用落來臨,企業(yè)需要在性價(jià)比、礎(chǔ)模創(chuàng)新以及安全等方面做好準(zhǔn)備。型服新發(fā)型火山引擎為企業(yè)提供了 AI 云原生式的多產(chǎn)大模地再全鏈路產(chǎn)品服務(wù)能力,以豆包大模型、品更大模型服務(wù)、企業(yè)AI 基礎(chǔ)設(shè)施、數(shù)據(jù)和安全方向的產(chǎn)品新成果,與眾多企業(yè)和開發(fā)者用戶在未來的 AI 創(chuàng)新變革之路上攜手共進(jìn)。”字節(jié)跳動(dòng) 基礎(chǔ)架構(gòu)負(fù)責(zé)人趙鵬偉表示。
AI云原生 打造以AI負(fù)載為中心的基礎(chǔ)架構(gòu)新范式
過去十年中,云原生架構(gòu)的彈性、存算分離以及服務(wù)化等能力,成為了企業(yè)高效構(gòu)建大規(guī)模業(yè)務(wù)系統(tǒng)的有力支持。隨著 AI 時(shí)代的來臨,更多的計(jì)算變成以 GPU 為核心,舊有架構(gòu)難以充分發(fā)揮 GPU 高算力、高帶寬優(yōu)勢(shì),同時(shí) GPU 訓(xùn)練和推理場(chǎng)景,也對(duì)高速互聯(lián)、在線存儲(chǔ)和隱私安全提出了更高的要求。
火山引擎認(rèn)為,下一個(gè)十年,計(jì)算范式應(yīng)該進(jìn)入 AI 云原生的新時(shí)代。AI 云原生,將以 GPU 為核心重新來優(yōu)化計(jì)算、存儲(chǔ)與網(wǎng)絡(luò)架構(gòu),GPU 可以直接訪問存儲(chǔ)和數(shù)據(jù)庫,來顯著的降低 IO 延遲。同時(shí),全系統(tǒng)提供更高規(guī)模的高速互聯(lián),和端到端的安全保護(hù)。為此,火山引擎將打造以 AI 負(fù)載為中心的基礎(chǔ)架構(gòu)新范式,推出新一代計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)和安全產(chǎn)品。
✔ 在計(jì)算層面,新一代的火山引擎 GPU 實(shí)例,通過 vRDMA 網(wǎng)絡(luò),支持大規(guī)模并行計(jì)算和 P/D 分離推理架構(gòu),顯著提升訓(xùn)練和推理效率,降低成本。
✔ 存儲(chǔ)上,新推出的 EIC 彈性極速緩存,能夠?qū)崿F(xiàn) GPU 直連,使大模型推理時(shí)延降低至1/50;成本降低20%。
✔ 在安全層面,火山將推出 PCC 私密云服務(wù),構(gòu)建大模型的可信應(yīng)用體系?;?PCC,企業(yè)能夠?qū)崿F(xiàn)用戶數(shù)據(jù)在云上推理的端到端加密,而且性能很好,推理時(shí)延比明文模式的差異在5%以內(nèi)。
火山方舟加速大規(guī)模落地 全新發(fā)布Prompt優(yōu)解
作為一站式大模型服務(wù)平臺(tái),火山方舟將憑借 Cache、離線推理模式等產(chǎn)品與升級(jí),以及全新發(fā)布的 Prompt 優(yōu)解,加速大模型能力落地。
大模型落地過程中,prompt(提示詞)的編寫,往往是橫在面前的第一道門檻,大模型能力越強(qiáng),對(duì)指示詞、指令的遵循程度也就越高。
火山引擎發(fā)布 Prompt 優(yōu)解,可以通過“自動(dòng)+互動(dòng)”方式協(xié)助用戶編寫提示詞,讓用戶在互動(dòng)中表達(dá)需求,快速上手。用機(jī)器實(shí)現(xiàn)類似人類的反思、類比、錯(cuò)誤總結(jié)能力,全自動(dòng)優(yōu)化 prompt,助力企業(yè)低成本高效率獲得高質(zhì)量 prompt。目前,Prompt 優(yōu)解已通過火山方舟開放全量公測(cè)。
火山引擎始終把更低、更好的成本和價(jià)格放在首位。為進(jìn)一步踐行“人人用得起,才是好模型”理念,火山引擎發(fā)布離線批量推理方案和上下文緩存,幫助用戶實(shí)現(xiàn)更為精細(xì)化和低成本的運(yùn)營。
全新扣子1.5、HiAgent1.5 助力打造企業(yè)級(jí)AI原生應(yīng)用
從通用大模型到企業(yè) AI 應(yīng)用落地,需跨越“到一個(gè)好用的應(yīng)用”、“到 N 個(gè)好用的應(yīng)用”、“到組織、流程、戰(zhàn)略”三道鴻溝。
此外,豆包大模型最新發(fā)布的豆包·視覺理解模型、豆包·文生圖模型2.1和豆包·音樂模型,都可以在扣子通過插件的方式體驗(yàn),將有助于更多多模態(tài) AI 應(yīng)用在扣子誕生。
數(shù)據(jù)飛輪2.0發(fā)布 開啟數(shù)智生產(chǎn)力新時(shí)代
為了幫助企業(yè)用好數(shù)據(jù),用數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)價(jià)值的提升,火山引擎發(fā)布數(shù)據(jù)飛輪2.0,通過 AI 創(chuàng)新,來重新定義企業(yè)數(shù)據(jù)智能。數(shù)據(jù)飛輪2.0將全面注入大模型,帶來前所未有的決策洞察;通過一體化數(shù)智研發(fā)與一站式數(shù)據(jù)智能運(yùn)營,讓工作流程化繁為簡;在多元異構(gòu)計(jì)算引擎的加速下,快速處理結(jié)構(gòu)與非結(jié)構(gòu)數(shù)據(jù)資產(chǎn),激發(fā)企業(yè)更多潛在數(shù)據(jù)資產(chǎn),實(shí)現(xiàn)更大的動(dòng)力。
圍繞企業(yè)數(shù)據(jù)建設(shè)與數(shù)據(jù)應(yīng)用的各個(gè)環(huán)節(jié),數(shù)據(jù)飛輪2.0的全系產(chǎn)品迎來了全面實(shí)現(xiàn) AI 創(chuàng)新的新階段。此外,發(fā)布兩大核心方案:
✔ Data Fabric 驅(qū)動(dòng)下的 ChatBI 智能體,可以讓數(shù)據(jù)消費(fèi)變得更簡單直接。該方案通過構(gòu)建完整的智能數(shù)據(jù)服務(wù)體系,打破數(shù)據(jù)“專業(yè)”壁壘,幫助企業(yè)內(nèi)每個(gè)業(yè)務(wù)都能定制專屬智能體,持續(xù)降低數(shù)據(jù)使用門檻,提升大模型能力下的數(shù)據(jù)反饋效率和準(zhǔn)確率。
✔ 多模態(tài)數(shù)據(jù)湖,拓寬了數(shù)據(jù)資產(chǎn)的邊界,可以實(shí)現(xiàn)海量結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的統(tǒng)一精細(xì)化管理,全方位兼容各類數(shù)據(jù)格式,為 LLM 預(yù)訓(xùn)練、持續(xù)訓(xùn)練和微調(diào)全程各個(gè)環(huán)節(jié)提供更好的數(shù)據(jù)支持。
讓智能更安全,讓安全更智能
火山引擎云安全圍繞“讓智能更安全、讓安全更智能”理念,為 AI 基礎(chǔ)設(shè)施提供透明可信的安全保障,同時(shí)也通過安全智能體,希望字節(jié)跳動(dòng)沉淀的安全經(jīng)驗(yàn)服務(wù)好每個(gè)企業(yè)。
大模型應(yīng)用進(jìn)入開花結(jié)果階段,企業(yè)對(duì)模型能力、價(jià)格以及落地難度都提出了更高要求?;鹕揭姹敬伟l(fā)布的多款全新產(chǎn)品與升級(jí),進(jìn)一步降低模型訓(xùn)練、推理應(yīng)用難度,以更高性價(jià)比、更強(qiáng)安全保障,為企業(yè)落地 AI 能力形成增長奠定了堅(jiān)實(shí)基礎(chǔ)。
未來,火山引擎將繼續(xù)強(qiáng)化全棧 AI 服務(wù)能力,不斷推動(dòng)技術(shù)與行業(yè)場(chǎng)景深度融合,助力企業(yè)憑借 AI 等創(chuàng)新技術(shù),實(shí)現(xiàn)更大價(jià)值飛躍。