《失控》作者K·K認(rèn)為:未來的商業(yè)乃數(shù)據(jù)之商業(yè),處理數(shù)據(jù)和處理客戶一樣重要。
的確,數(shù)據(jù)是所有企業(yè)在數(shù)字化時代的生命之源。隨著AI大模型和生成式AI的崛起,讓企業(yè)生產(chǎn)力范式迎來巨大變革,數(shù)據(jù)要素+人工智能技術(shù)已徹底重塑企業(yè)的流程、管理和服務(wù)等,成為企業(yè)在市場中形成差異化競爭優(yōu)勢的關(guān)鍵。
這其中,如何讓Data+AI更好地融合正在成為當(dāng)前產(chǎn)業(yè)界所面臨的首要挑戰(zhàn)。Data+AI融合不僅是企業(yè)實現(xiàn)數(shù)據(jù)價值持續(xù)釋放的關(guān)鍵,也是大規(guī)模應(yīng)用AI技術(shù)的基礎(chǔ)前提,更直接決定著未來生產(chǎn)力范式的全面轉(zhuǎn)變。
近年來,無論是國外的AWS、Databricks、SAS等公司,還是國內(nèi)的云大廠、StarRocks等初創(chuàng)公司,均將目標(biāo)瞄準(zhǔn)Data+AI ,旨在從產(chǎn)品上化繁為簡,推動Data+AI的全面融合,以滿足越來越多復(fù)雜的應(yīng)用需求,幫助企業(yè)在AI時代打造新質(zhì)生產(chǎn)力。
史上最大融資,Data+AI的勝利
幾年前機器學(xué)習(xí)流行之際,Data+AI融合的苗頭已開始顯現(xiàn),像Cloudera、Databricks等大數(shù)據(jù)公司紛紛致力于集成TensorFlow等流行AI框架,支持機器學(xué)習(xí)工具的開發(fā)等;2023年初,AI大模型和生成式AI應(yīng)用的爆發(fā),則猶如一股強勁的催化劑,極大地推動了Data+AI走向融合。
例如,剛剛完成100億美元史上最大融資的獨角獸Databricks就動作頻頻,不僅打造出開源大模型Dolly,還收購大模型公司 MosaicML,并致力于構(gòu)建數(shù)據(jù)分析與人工智能的統(tǒng)一平臺。
Data+AI融合趨勢之所以被產(chǎn)業(yè)界廣泛認(rèn)可,實乃數(shù)據(jù)分析+人工智能平臺已經(jīng)成長為企業(yè)數(shù)智轉(zhuǎn)型升級的核心底座,牽引著企業(yè)生產(chǎn)力范式的轉(zhuǎn)變和未來轉(zhuǎn)型升級。
一方面,在Scaling Law法則驅(qū)動下,形成通用大模型和垂直大模型并存發(fā)展的局面,AI大模型快速迭代與發(fā)展帶來極為復(fù)雜的數(shù)據(jù)處理需求,對于數(shù)據(jù)處理帶來一系列全新的挑戰(zhàn)。眾所周知,大模型的效果好壞與數(shù)據(jù)質(zhì)量息息相關(guān),而數(shù)據(jù)質(zhì)量很大程度又依賴對海量數(shù)據(jù)的數(shù)據(jù)治理、處理和管理。例如,檢索增強生成(RAG)是生成式AI應(yīng)用的關(guān)鍵技術(shù),需要結(jié)合向量數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫技術(shù),提升數(shù)據(jù)檢索和生成的能力,對于數(shù)據(jù)處理帶來諸多挑戰(zhàn)。
![]()
另一方面,AI大模型和生成式AI也在推動數(shù)據(jù)處理與分析走向更加智能和便捷,有望持續(xù)降低數(shù)據(jù)消費和使用的門檻。例如,在查詢和檢索、數(shù)據(jù)清洗和準(zhǔn)備、分析和可視化等諸多環(huán)節(jié)融入生成式AI能力,有效提高數(shù)據(jù)處理效率,徹底改變數(shù)據(jù)分析、數(shù)據(jù)使用與交互的方式,讓數(shù)據(jù)處理與分析走向簡單與便捷。
因此,面對日益復(fù)雜的數(shù)據(jù)環(huán)境,Data+AI融合勢在必行,構(gòu)建靈活、高效和智能的數(shù)據(jù)分析與人工智能統(tǒng)一平臺成為大勢所趨。“大模型時代,企業(yè)的IT架構(gòu)正在變成以數(shù)據(jù)為核心,大數(shù)據(jù)和大模型的融合,是形成新質(zhì)IT生產(chǎn)力的關(guān)鍵。”騰訊云副總裁黃世飛在12月一場媒體溝通會上如是說。
那么,Data+AI在產(chǎn)品層面是如何實現(xiàn)的?什么樣的數(shù)據(jù)分析與人工智能平臺代表著未來Data+AI的融合趨勢?
Data+AI如何走向融合
Data+AI在產(chǎn)品層面上的融合,本質(zhì)上是為了簡化數(shù)據(jù)處理和提升人工智能開發(fā)應(yīng)用效率。
在目前市場中,國內(nèi)外眾多巨頭、獨角獸均瞄準(zhǔn)了Data+AI的融合。Databricks是推動Data+AI融合的代表。作為數(shù)據(jù)分析與人工智能領(lǐng)域的獨角獸,Databricks雖然有花費巨資收購大模型初創(chuàng)公司MosaicML這樣的大手筆,但始終堅持統(tǒng)一架構(gòu)的產(chǎn)品模式,致力于將數(shù)據(jù)湖倉、數(shù)據(jù)工具和AI工具集成為統(tǒng)一的數(shù)據(jù)分析與人工智能平臺,近年來基于統(tǒng)一架構(gòu)下更是開發(fā)出Lakehouse IQ、LakehouseAI、AI Gateway、Unity Catalog等一系列新功能。
同樣,AWS也在致力于簡化數(shù)據(jù)處理與人工智能的技術(shù)堆棧。在今年12月的re:Invent大會上,AWS直言數(shù)據(jù)、分析和AI結(jié)合在全新的平臺是重要的趨勢。為此,AWS正在整合SQL Analytics、Data Processing、Machine learning、生成式AI開發(fā)、BI等諸多功能,并且通過一站式的平臺提供給用戶使用。
![]()
無獨有偶,騰訊云也是推動Data+AI融合的突出代表,其最新一代數(shù)據(jù)智能平臺TChouse-X采用一體化的架構(gòu)設(shè)計,一份數(shù)據(jù)即可支持在線分析、離線處理、數(shù)據(jù)湖探索和機器學(xué)習(xí)等多種業(yè)務(wù)負(fù)載,實現(xiàn)AI、BI和Data在一個平臺上開發(fā)和共建。
如果仔細(xì)分析上述三家公司在Data+AI融合方面的動作,會發(fā)現(xiàn)一體化、智能化、高性能和云原生是Data+AI在產(chǎn)品層面最為關(guān)鍵的四個趨勢。
首先是一體化。一體化的架構(gòu)與產(chǎn)品無疑是簡化技術(shù)棧、推動各種產(chǎn)品功能融合和提升AI應(yīng)用開發(fā)效率的關(guān)鍵方式。事實上,像Databricks、騰訊云等公司是一體化產(chǎn)品策略的堅定支持者。騰訊云大數(shù)據(jù)基礎(chǔ)產(chǎn)品中心總經(jīng)理程彬直言,AI大模型時代,數(shù)據(jù)分析與人工智能平臺需要在產(chǎn)品體驗和運營層面減少復(fù)雜性,回歸到減法模式,太多的選擇意味著效率會降低。
其次是智能化。眾所周知,當(dāng)前所有產(chǎn)品都迎來一次重要的重塑,AI大模型和生成式AI正在深刻改變各種軟件產(chǎn)品的設(shè)計、開發(fā)和體驗,數(shù)據(jù)分析與人工智能平臺產(chǎn)品也不例外,甚至需要走在智能化的最前面,在數(shù)據(jù)治理、數(shù)據(jù)管理、模型訓(xùn)練、應(yīng)用開發(fā)等方面更加智能化,降低數(shù)據(jù)分析與AI開發(fā)的門檻,推動AI應(yīng)用的普及。
第三是高性能。當(dāng)前,企業(yè)面臨的數(shù)據(jù)棧環(huán)境復(fù)雜程度遠勝以往,數(shù)據(jù)分析與人工智能平臺從過去單一的數(shù)據(jù)倉庫迅速走向囊括指標(biāo)平臺、交互式分析、實時分析、流計算、機器學(xué)習(xí)等在內(nèi)的綜合平臺,對于各項工作負(fù)載的性能要求也是水漲船高,“Data+AI融合的趨勢下,追求高性能將成本平臺產(chǎn)品的基本訴求。計算范式延伸到二維表+分布式ML計算+AI搜索,需要面向多種工作負(fù)載的高性能計算引擎來支撐。”程彬如是說。
最后則是云原生。事實上,無論AWS、騰訊云這些云服務(wù)商,還是Databricks、Snowflake、StarRocks等,他們的數(shù)據(jù)平臺類產(chǎn)品無一例外從誕生伊始與云強相關(guān),生于云、長于云,充分利用云原生的特性,實現(xiàn)資源的彈性伸縮,以適應(yīng)不同的工作負(fù)載需求。
“在AI大模型時代,數(shù)據(jù)平臺不僅僅需要云原生,還需要AI原生,讓整個數(shù)據(jù)分析與人工智能平臺自身更加聰明、更加自治。”程彬補充道。
中國Data+AI浪潮來襲,誰有備而來?
無疑,中國市場正迎來Data+AI融合浪潮的全面來襲。
隨著中國千行百業(yè)數(shù)字化轉(zhuǎn)型的深入,中國正成為當(dāng)之無愧的數(shù)據(jù)大國。IDC預(yù)測,中國在2024年預(yù)計生成38.6ZB數(shù)據(jù),未來五年,中國的數(shù)據(jù)量年復(fù)合增長率(CAGR)將達到25.7%,中國有望成為全球最大數(shù)據(jù)圈,為生成式AI應(yīng)用帶來豐富的數(shù)據(jù)資源。
另一方面,中國AI大模型領(lǐng)域發(fā)展迅速,AI大模型正加速進入到各大垂直行業(yè)之中。同時,中國行業(yè)豐富、產(chǎn)業(yè)布局完整,有著極為豐富多樣的行業(yè)應(yīng)用場景,是生成式AI等技術(shù)天然優(yōu)良的“試驗土壤”和“培育基地”。沙利文頭豹《2024年中國行業(yè)大模型市場報告》顯示,中國行業(yè)大模型市場2024年有望達165億元,同比增長57%,行業(yè)智能化轉(zhuǎn)型需求是市場爆發(fā)性增長的主要驅(qū)動力。
顯然,在“數(shù)據(jù)要素X”三年行動計劃”、“人工智能+”等政策的驅(qū)動下,數(shù)據(jù)分析與人工智能平臺將成為企業(yè)未來轉(zhuǎn)型升級的核心抓手。IDC《數(shù)據(jù)智能市場趨勢分析,2024》報告認(rèn)為,在生成式AI的驅(qū)動下,未來5年中國企業(yè)在數(shù)據(jù)管理和數(shù)據(jù)分析基礎(chǔ)設(shè)施建設(shè)的投資將持續(xù)高增長。
事實上,巨大的市場潛力也吸引到眾多市場參與者,并且涌現(xiàn)出一批數(shù)據(jù)分析、人工智能相關(guān)的產(chǎn)品。這其中,騰訊云可謂是有備而來,其最新的TCHouse-X采用一體化的架構(gòu)設(shè)計,徹底打破傳統(tǒng)數(shù)據(jù)平臺在離線計算、在線計算和AI開發(fā)之間的壁壘,成為數(shù)據(jù)分析與人工智能一站式平臺的代表。
除了采用一體化的架構(gòu)設(shè)計之外,騰訊云TCHouse-X在優(yōu)化器、計算引擎、存儲引擎等核心引擎是全部自研,能夠為用戶提供全鏈路極致性能;同時,騰訊云TCHouse-X實現(xiàn)系統(tǒng)交互、資源管理和運維管理的智能化,并能夠?qū)崟r感知負(fù)載并智能規(guī)劃資源;此外,TCHouse-X支持多種彈性策略,擅長支撐突發(fā)流量高峰、大規(guī)模查詢等場景。
![]()
騰訊云副總裁黃世飛直言:“從架構(gòu)層面來看,騰訊云TCHouse-X從一開始就是圍繞AI相關(guān)來考慮的,這有別于之前一些較早的數(shù)據(jù)分析與人工智能平臺。另外,騰訊云擁有強大的基礎(chǔ)設(shè)施,從端到端的的維度來確保TCHouse-X在性能上更加出色。”
綜合來看,騰訊云TCHouse-X作為數(shù)據(jù)分析與人工智能一體化平臺產(chǎn)品,已經(jīng)展現(xiàn)出極強的產(chǎn)品力。例如,在在線查詢方面,騰訊云TCHouse-X性能優(yōu)于Snowflake 50%,離線批處理綜合性價比優(yōu)于Snowflake 10倍以上。
據(jù)悉,針對TCHouse-X,騰訊云目前推出了公有云版本。“騰訊云的產(chǎn)品策略是公有云與私有云并重。TCHouse-X會最先在公有云上為用戶提供服務(wù),后續(xù)會逐漸進入到私有云,去適配私有云環(huán)境中的各種IT環(huán)境。”黃世飛最后表示道。
大數(shù)據(jù)在線是聚焦人工智能、大數(shù)據(jù)、云計算等前沿科技領(lǐng)域深度觀察的深度媒體。目前,大數(shù)據(jù)在線在微信公眾號、今日頭條號、新浪財經(jīng)、36氪、雪球號、觀察號等主流自媒體平臺均有入駐,積累粉絲超過20W;并榮獲今日頭條十大科技新銳媒體、商業(yè)新知十大人工智能媒體等多項殊榮。商務(wù)聯(lián)系請?zhí)砑游⑿牛篛wen_Inter,添加請備注具體信息。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.