Netflix 圖抽象架構(gòu)解析：全球毫秒級處理 650TB 圖數(shù)據(jù)

作者 | Leela Kumili

譯者 | 明知山

Netflix 工程師搭建了一個高吞吐圖抽象系統(tǒng)，用于實時管理大規(guī)模圖數(shù)據(jù)。該平臺支撐多項內(nèi)部業(yè)務(wù)服務(wù)，包括 Netflix 游戲（Netflix Gaming）的社交圖，以及用于運維監(jiān)控與事件分析的服務(wù)拓撲圖。系統(tǒng)通過將邊連接關(guān)系與邊屬性分離存儲，并在全球范圍內(nèi)部署數(shù)據(jù)副本，可對約 650 TB 的圖數(shù)據(jù)完成毫秒級查詢，幫助工程師高效、可靠地分析復(fù)雜關(guān)聯(lián)關(guān)系。

圖處理系統(tǒng)通常需要在表達性查詢與可預(yù)測性能之間做出權(quán)衡。傳統(tǒng)圖數(shù)據(jù)庫往往優(yōu)先支持靈活的遍歷與復(fù)雜的查詢能力，但許多運營工作負載需要極高的響應(yīng)速度和高吞吐量。為了滿足這些需求，Netflix 的系統(tǒng)限制了遍歷深度，并通常要求指定起始節(jié)點，以犧牲部分查詢靈活性，換取大規(guī)模場景下穩(wěn)定的低延遲表現(xiàn)。

圖抽象支撐多種內(nèi)部業(yè)務(wù)場景，包括：用于捕獲 Netflix 生態(tài)內(nèi)服務(wù)交互的實時分布式圖、供 Netflix 游戲建模用戶關(guān)系的社交圖，以及輔助工程師在故障事件與根因排查中分析依賴的服務(wù)拓撲圖。該平臺還通過 時序抽象（TimeSeries abstraction） 保留歷史圖狀態(tài)，支持圖演化分析、審計追溯與時間回溯查詢。

圖抽象并非是單獨構(gòu)建獨立的圖數(shù)據(jù)庫，而是作為一層能力疊加在 Netflix 現(xiàn)有數(shù)據(jù)基礎(chǔ)設(shè)施之上。最新的圖狀態(tài)存儲于 鍵值抽象（Key-Value abstraction） 中，歷史變更則通過時序抽象進行記錄。為降低訪問延遲，該系統(tǒng)與 Netflix 分布式緩存層 EVCache 深度集成。圖 Schema 會被加載至內(nèi)存并強制執(zhí)行，以此完成數(shù)據(jù)校驗、優(yōu)化遍歷路徑規(guī)劃，并剔除無效查詢路徑。

圖抽象架構(gòu)構(gòu)建于 Netflix 數(shù)據(jù)基礎(chǔ)設(shè)施之上（來源：Netflix Tech Blog）

該平臺還采用分層緩存策略：通過寫旁路緩存（write-aside caching）避免重復(fù)寫入邊數(shù)據(jù)，借助讀旁路緩存（read-aside caching）加速節(jié)點與邊屬性的訪問。這些機制有效減少讀寫放大，保證了高負載下的性能穩(wěn)定。圖抽象對外提供了一套借鑒 Gremlin 設(shè)計的 gRPC 遍歷 API，支持服務(wù)鏈式執(zhí)行遍歷步驟、添加過濾條件并限制返回結(jié)果集。

Netflix 工程師表示，系統(tǒng)的全球可用性是通過跨區(qū)域異步復(fù)制實現(xiàn)的，可在保障高吞吐的同時維持數(shù)據(jù)最終一致性。緩存層與持久化存儲均對圖數(shù)據(jù)進行跨地域副本同步，從而在延遲、可用性與一致性之間取得良好平衡。

緩存層的全球復(fù)制（來源：Netflix Tech Blog）

Netflix 工程師強調(diào)，在生產(chǎn)環(huán)境中，該系統(tǒng)的單跳遍歷可實現(xiàn)個位數(shù)毫秒延遲，雙跳查詢的 P90 時延低于 50 毫秒，能夠提供可預(yù)期的大規(guī)模穩(wěn)定性能。系統(tǒng)設(shè)計對遍歷規(guī)劃與執(zhí)行過程進行了精細權(quán)衡，可高效支撐大規(guī)模圖數(shù)據(jù)集的查詢與探索。

隨著 Netflix 持續(xù)拓展直播、游戲、廣告等新興業(yè)務(wù)場景，圖抽象將在用戶、服務(wù)與內(nèi)容的關(guān)系建模中發(fā)揮愈發(fā)關(guān)鍵的作用，同時為全平臺穩(wěn)定提供高吞吐、全球可用且低延遲的數(shù)據(jù)訪問能力。

查看英文原文：

https://www.infoq.com/news/2026/03/netflix-graph-abstraction/

聲明：本文為 InfoQ 翻譯，未經(jīng)許可禁止轉(zhuǎn)載。