![]()
作者 | Leela Kumili
譯者 | 明知山
Netflix 工程師搭建了一個高吞吐圖抽象系統(tǒng),用于實時管理大規(guī)模圖數(shù)據(jù)。該平臺支撐多項內(nèi)部業(yè)務(wù)服務(wù),包括 Netflix 游戲(Netflix Gaming)的社交圖,以及用于運維監(jiān)控與事件分析的服務(wù)拓撲圖。系統(tǒng)通過將邊連接關(guān)系與邊屬性分離存儲,并在全球范圍內(nèi)部署數(shù)據(jù)副本,可對約 650 TB 的圖數(shù)據(jù)完成毫秒級查詢,幫助工程師高效、可靠地分析復(fù)雜關(guān)聯(lián)關(guān)系。
圖處理系統(tǒng)通常需要在表達性查詢與可預(yù)測性能之間做出權(quán)衡。傳統(tǒng)圖數(shù)據(jù)庫往往優(yōu)先支持靈活的遍歷與復(fù)雜的查詢能力,但許多運營工作負載需要極高的響應(yīng)速度和高吞吐量。為了滿足這些需求,Netflix 的系統(tǒng)限制了遍歷深度,并通常要求指定起始節(jié)點,以犧牲部分查詢靈活性,換取大規(guī)模場景下穩(wěn)定的低延遲表現(xiàn)。
圖抽象支撐多種內(nèi)部業(yè)務(wù)場景,包括:用于捕獲 Netflix 生態(tài)內(nèi)服務(wù)交互的實時分布式圖、供 Netflix 游戲建模用戶關(guān)系的社交圖,以及輔助工程師在故障事件與根因排查中分析依賴的服務(wù)拓撲圖。該平臺還通過 時序抽象(TimeSeries abstraction) 保留歷史圖狀態(tài),支持圖演化分析、審計追溯與時間回溯查詢。
圖抽象并非是單獨構(gòu)建獨立的圖數(shù)據(jù)庫,而是作為一層能力疊加在 Netflix 現(xiàn)有數(shù)據(jù)基礎(chǔ)設(shè)施之上。最新的圖狀態(tài)存儲于 鍵值抽象(Key-Value abstraction) 中,歷史變更則通過時序抽象進行記錄。為降低訪問延遲,該系統(tǒng)與 Netflix 分布式緩存層 EVCache 深度集成。圖 Schema 會被加載至內(nèi)存并強制執(zhí)行,以此完成數(shù)據(jù)校驗、優(yōu)化遍歷路徑規(guī)劃,并剔除無效查詢路徑。
![]()
圖抽象架構(gòu)構(gòu)建于 Netflix 數(shù)據(jù)基礎(chǔ)設(shè)施之上(來源:Netflix Tech Blog)
該平臺還采用分層緩存策略:通過寫旁路緩存(write-aside caching)避免重復(fù)寫入邊數(shù)據(jù),借助讀旁路緩存(read-aside caching)加速節(jié)點與邊屬性的訪問。這些機制有效減少讀寫放大,保證了高負載下的性能穩(wěn)定。圖抽象對外提供了一套借鑒 Gremlin 設(shè)計的 gRPC 遍歷 API,支持服務(wù)鏈式執(zhí)行遍歷步驟、添加過濾條件并限制返回結(jié)果集。
Netflix 工程師表示,系統(tǒng)的全球可用性是通過跨區(qū)域異步復(fù)制實現(xiàn)的,可在保障高吞吐的同時維持數(shù)據(jù)最終一致性。緩存層與持久化存儲均對圖數(shù)據(jù)進行跨地域副本同步,從而在延遲、可用性與一致性之間取得良好平衡。
![]()
緩存層的全球復(fù)制(來源:Netflix Tech Blog)
Netflix 工程師強調(diào),在生產(chǎn)環(huán)境中,該系統(tǒng)的單跳遍歷可實現(xiàn)個位數(shù)毫秒延遲,雙跳查詢的 P90 時延低于 50 毫秒,能夠提供可預(yù)期的大規(guī)模穩(wěn)定性能。系統(tǒng)設(shè)計對遍歷規(guī)劃與執(zhí)行過程進行了精細權(quán)衡,可高效支撐大規(guī)模圖數(shù)據(jù)集的查詢與探索。
隨著 Netflix 持續(xù)拓展直播、游戲、廣告等新興業(yè)務(wù)場景,圖抽象將在用戶、服務(wù)與內(nèi)容的關(guān)系建模中發(fā)揮愈發(fā)關(guān)鍵的作用,同時為全平臺穩(wěn)定提供高吞吐、全球可用且低延遲的數(shù)據(jù)訪問能力。
查看英文原文:
https://www.infoq.com/news/2026/03/netflix-graph-abstraction/
聲明:本文為 InfoQ 翻譯,未經(jīng)許可禁止轉(zhuǎn)載。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.