NoC，面臨挑戰

公眾號記得加星標??，第一時間看推送不會錯過。

如今的片上網絡就像一個復雜的高速公路交叉口，有多條匝道通往不同的主干道。這里的交通流量就是數據，而且比以往任何時候都多的數據被捕獲、生成和分析。

實時人工智能驅動的分析給芯片網絡帶來了額外的壓力，這些網絡需要在處理器和內存之間快速地來回傳輸數據。為了應對這一挑戰，設計人員正在開發新的、日益復雜的片上網絡 (NoC) 拓撲結構和芯片間互連架構，以確保所有數據都能在正確的時間準確地傳輸到所需位置。但這同時也帶來了一些新的挑戰。

Synopsys接口IP產品管理總監Priyank Shukla表示：“這個領域正在發展壯大，因為我們擁有大量數據。這催生了新的技術，例如將數據從加速器連接到內存，從而促進了我們領域的創新。”

根據設計人員處理的是片上系統 (SoC)、多芯片系統還是芯片組，架構挑戰的權重有所不同，但所有配置都存在一些共同的擔憂。

ChipAgents首席執行官 William Wang 表示： “最難的問題是可擴展性、擁塞管理、流量公平性、延遲可預測性以及在日益異構的 IP 模塊中實現時序收斂。”

從SoC架構的角度來看，最復雜的問題都是同時擴展的。“這正是它們難就難在的地方，” Arteris產品管理和市場營銷副總裁Andy Nightingale說道。“隨著SoC擴展到成百上千個端點，你不再只是連接模塊。你需要在嚴格的功耗、延遲和布局限制下管理一個動態的流量系統。布線擁塞、時序收斂和性能與拓撲結構和布局密不可分。緩存一致性和流量排序直接影響服務質量（QoS）和最壞情況下的延遲。CPU、GPU、NPU、加速器和芯片組的異構集成，會成倍增加時鐘域、功耗域和協議域。”

人工智能設計加劇了其中一些挑戰。“網絡架構必須能夠吸收突發性、高扇入流量，同時避免出現隊頭阻塞或病態擁塞，”Nightingale說道。“這就是為什么現代片上網絡（NoC）已經遠遠超越了簡單的交叉開關或環路。網絡架構必須被設計成一個可擴展的系統，而不是在真正的IP完成后才被當作粘合劑邏輯來處理。”

每個問題和解決方案都會相互影響，需要權衡取舍。“例如，提高層密度可以提升性能，但也會增加物理設計的難度，” Baya Systems的首席解決方案架構師 Kent Orthner 說。“有一個問題尤為突出——它未必是最難的，但或許能解決其他問題——那就是異構性。”

由于尖端硅芯片尺寸縮小的問題，工程師們正在為最終應用定制網絡解決方案，而不是構建通用解決方案。

“雖然困難重重，但異構設計在很大程度上幫助了我，這意味著你不會試圖用同樣的方式處理所有事情，”Orthner說道。“你會設計出不同類型的處理器、不同類型的計算能力、不同類型的網絡和拓撲結構，所有這些都可能集成在同一個SoC中，以解決不同類型的問題。”

異構性雖然解決了一些問題，但也帶來了集成方面的挑戰。“大多數組織都在將人工智能加速器和實時控制工作負載疊加到原本就無法應對如此高異構性和并發性的傳統平臺上，”Nightingale說道。“這促使人們將片上互連視為實時系統架構，而非被動傳輸。早期架構探索、物理感知自動化和策略驅動的數據路由正被用于管理不斷增長的數據量，同時保持可預測性和安全性。”

不同的拓撲結構應對不同的挑戰

為了滿足不斷變化的數據需求，片上網絡（NoC）的拓撲結構已經從交叉開關結構演變為星形、環樹形、網狀、環面形以及其他更新的結構。一個復雜的系統可以包含多個具有不同拓撲結構的NoC。

ChipAgents公司的王表示：“我們看到混合型網絡架構融合了網狀結構、環形結構和分層集群，并結合了soft-tiled片域、可配置的相干島和自適應路由，以平衡帶寬和功耗。在不久的將來，我們預計會出現動態的、自優化的網絡架構，它能夠根據工作負載模式進行代理驅動的流量調優、擁塞預測和運行時拓撲結構變形。”

圖 1：傳統 SoC 互連結構

最新的方法明確地體現了多維性。“我們支持在同一片上系統 (SoC) 中同時使用不同的拓撲結構——樹狀、網狀、混合型和特定領域的結構——因為沒有一種拓撲結構在所有情況下都是最優的，”Nightingale 指出。“對于 CPU 集群而言，一致性結構至關重要，因為軟件一致性、共享內存和細粒度同步是其核心要素。對于 NPU、DSP 和流式加速器而言，帶寬、確定性和能效比全局一致性更為重要，因此非一致性結構通常是首選。軟分塊和分層結構允許設計人員在控制時序和布線復雜性的同時擴展容量和帶寬。系統級流量管理（包括虛擬網絡、QoS、隔離和擁塞感知）確保單個高負載工作負載不會影響芯片的其他部分。我們的目標并非追求理論上的優雅，而是在大規模應用下實現可預測的行為，即使流量模式復雜多變。”

圖 2：用于 AI/ML 的片上網絡 (NoC) 模塊，包含網絡接口單元 (NIU)，以寄存器傳輸級 (RTL) 呈現

然而，新的問題需要新的拓撲結構。“我們正在嘗試在芯片上的二維空間內解決的關鍵問題之一是，我們能否創造出前所未有的全新拓撲結構，”Baya Systems 的首席解決方案架構師 Saurabh Gayen 表示。“我們如何進行高度算法化的、基于軟件的硬件設計？這種設計方式是一種自頂向下的視角。你會從整體上審視系統，思考‘我希望整個系統最終呈現出什么樣的樣子？’但隨后你又會從自底向上思考，因為這最終需要實際構建。那么，你必須具備哪些組件？軟件定義流程利用了以前無法使用的工具。我們能夠利用這些探索工具在內部創造出全新的拓撲結構，從而在二維芯片內實現三維架構。”

圖 3：二維芯片內的三維架構

此外，某些類型的集成電路只適用于特定的拓撲結構。“例如，所有大型廠商都在生產的以太網交換機，唯一適用的拓撲結構是交叉開關，”蓋恩說道。“交叉開關的問題在于其擴展性極差。在交換機上連接大量端口的交叉開關極其昂貴且極其復雜。”

其他芯片或許也能從定制解決方案中受益。“如果你在進行機器學習推理，你會反復遇到一些非常具體的數據模式，你可以設計網絡來支持這些模式，”Orthner解釋道。“我們鼓勵針對特定應用來定義拓撲結構。想象一下，你在某個角落里放置了一堆高性能計算核心。你可能需要一種拓撲結構來支持該角落的大量連接。但是，在進行網絡配置時，由于不再受相同的約束，拓撲結構可能會更加線性。每個設計都需要定制拓撲結構，而不是像網狀或環面這樣的特定術語。我們正在看到一類有趣的設計。”

選擇取決于供應商以及他們如何選擇優化其系統。“AHB（高級高性能總線）是最早的片上網絡之一，也是一種并行總線，” Cadence公司芯片和IP解決方案高級產品營銷集團總監Mick Posner說道。接下來是 AXI（高級可擴展接口），它采用點對點連接，需要大量的線纜，這在性能方面表現出色——但例如，當需要跨越整個單芯片時，情況就不盡如人意了。如此多的并行線纜會造成問題，因此出現了真正的片上網絡（NoC），它采用更多的串行連接，NoC 上的線纜數量極少。之后，這種技術被擴展到芯片間通信，現在又被應用于芯片與芯片之間的通信。這種拓撲結構基于架構層面的選擇。你可以自由組合搭配。如今，我們仍然經常看到這樣的場景：例如，一個新的 NoC 帶有一個 AHB 端口，可以驅動另一個帶有標準 APB（高級外設總線）外設的 AHB NoC，以低速運行。我在 Synopsys 工作時負責 AMBA（高級微控制器總線架構）外設，令人驚訝的是，30 年后，我發現整個產品線仍然活躍。我曾經驅動的那些產品，如今依然存在。二十多年前，我才剛剛被收養。

不同的芯片，不同的問題

所有片上網絡都是網絡結構，但并非所有網絡結構都是片上網絡，需要全方位的技術來應對不同的芯片挑戰。

Synopsys 的 Shukla 表示：“Fabric 是一個通用術語。有 FPGA 架構，有片上架構，還有網絡架構。談到超大規模數據中心時，他們把整個平臺稱為一個架構。他們指的是一整排加速器就是一個架構。那么，它們之間是如何通信的呢？”

多芯片設計討論通常圍繞網絡展開。“大多數人談到網絡時，想到的就是GPU、CPU和數據中心，以及連接它們的電線，”Baya公司的Gayen說道。

片上網絡也包含內核、內存和加速器，它們需要相互通信，但與數據中心不同的是，片上網絡沒有線纜。“你沒有三維空間，”蓋恩解釋說，“你只有二維空間，所以片上網絡的拓撲結構通常是可以在這個空間內分層構建的，這樣就能獲得非常好的性能，而無需像在三維數據中心空間中那樣鋪設線纜。盡管兩者基于非常常見的網絡理論，但觀察它們之間的差異以及問題是如何解決的，仍然非常有趣。”

快速增長的應用領域，例如機器人、無人機或車輛等物理人工智能系統，也面臨著獨特的挑戰。“物理人工智能系統與現實世界進行持續的閉環交互——在嚴格的實時性和安全性約束下，將感知、計算和執行功能結合起來，”Nightingale說道。“在這些系統中，數據延遲或路由錯誤不僅效率低下，而且可能存在安全隱患。因此，數據管理需要涵蓋確定性延遲、流量隔離和故障控制，以確保安全關鍵的控制流免受盡力而為的人工智能流量的影響，并避免因訪問不均而導致的數據泄露或偏差。”

在芯片的某個領域中構成重大網絡挑戰的問題，在另一個領域中未必如此。例如，相干性適用于某些系統，但不適用于其他系統。

“隨著SoC越來越復雜，一致性問題確實是一個棘手的挑戰，”Gayen說道。“在SoC中，性能常常受限于協調所有與一致性相關的細節。這確實會拖慢速度，讓你無法達到極高的性能水平。”

AI芯片繞過了數據一致性問題。“它們沒有內置的一致性協議，所以這不是它們面臨的挑戰，因為它們通過基于軟件的一致性或數據流的算法方法來處理這個問題，”Gayen說道。“對它們來說，挑戰在于如何平衡片上網絡（NoC）的卓越性能與分配給計算或緩沖的資源之間的關系。”

交換機則完全屬于另一個領域，它們正在挑戰物理極限。“它們只是想方設法在工程團隊能夠實際操作和構建的前提下，盡可能多地塞進線纜，”他繼續說道。“它們面臨的最大挑戰是如何實現極致的性能。交換機注重無阻塞特性，通過增加空白區域和布線來解決問題，但它們對性能的要求卻更加嚴格。線纜密度變得至關重要。而如此龐大的片上網絡（NoC）設計或大型交叉開關設計的工程成本，才是真正的挑戰所在。”

由于人工智能芯片位于復雜的片上系統 (SoC) 和交換機之間，它們并不像傳統芯片那樣注重硬件層面的一致性，也不追求完全的帶寬，而是通過大量布線來解決巨大的性能問題。“他們想要的是一種既像 SoC 又像交換機的東西。他們可能會采用 SoC 類型的設計，然后通過增加更多并行布線層來擴展其規模，從而實現 2 倍、4 倍甚至 8 倍的帶寬分配，但真正追求的是超越 SoC 的原始性能，”Gayen 說道。

此外，這些領域之間還有一個共同點——對數據永無止境的渴求。“每個人都希望更高效地傳輸數據，”奧斯納說。

其他人也認同，下一代拓撲結構將是具有更強層級性和適應性的混合型結構。“未來的網絡結構將不再像單一的命名形狀，而更像是一個組合系統——局部優化，全局協調——旨在與封裝、芯片和人工智能工作負載共同演進，而不是與之對抗，”Arteris公司的Nightingale表示。“我們的目標是讓網絡結構不再成為問題，即使芯片尺寸不斷增大。”

圖 4：專家用戶（手動）與片上網絡 IP（自動）在實際設計中的對比

芯片組面臨的挑戰

與SoC類似，芯片組片上網絡（NoC）也需要圍繞一致性做出決策。在芯片組內部，各個子系統各自承擔不同的功能。“它可以是LPDDR內存子系統，也可以是PCIe子系統，但每個子系統都有自己的NoC來促進其內部的通信，”Cadence公司的Posner說道。 “那么，可能會有一個更高級別的片上網絡（NoC），允許子系統之間進行通信。在這種情況下，我們的芯片組是非一致性的。它不需要任何緩存一致性，而CPU到CPU的連接則需要緩存一致性。CPU供應商通常會提供一致性NoC。此外，還有第三方提供一致性和非一致性NoC。這取決于你要連接的對象。如果你要設計一個CPU芯片組，那么你必須使用一致性NoC，因為你很可能需要通過部署多個相同的芯片來擴展性能，從而實現CPU的擴展。這需要緩存一致性。但如果你要從CPU連接到加速器，那么通常只需要I/O一致性。這也決定了所使用的NoC類型。”

芯片組增加了數據處理的挑戰。“在系統中，尤其是在高速I/O的情況下，你必須考慮如何管理芯片間的通信，”是德科技EDA高速數字設計部門負責人李熙洙（Hee Soo Lee）表示。“當我們考慮數據時，所有這些微小的芯片組都是連接的。你如何才能在滿足高帶寬要求的同時，管理芯片間的延遲，尤其是在這么多微小芯片組的情況下？數據是主要問題之一。在為這些芯片供電的同時，你能否保證數據的清晰度？你需要確保整個I/O總線上的信號暢通無阻，避免相互干擾，從而防止出現閉眼或系統裕量縮小。此外，保持系統低溫運行也是一項非常艱巨的挑戰。”

I/O芯片帶來了更多需要考慮的問題。“如果將核心芯片與I/O芯片分開，應該共享數據結構，還是應該由SoC擁有數據結構，而I/O芯片只負責傳遞數據？”Shukla指出。

總體而言，芯片組方案更為復雜，因為它會導致系統整體規模更大。“將多個芯片組組合在一起，所能構建的系統規模會不斷擴大，”Baya 公司的 Orthner 表示。“此外，使用芯片組時會出現一定程度的運行時可配置性，這是傳統 SoC 所不具備的。”

結論

在當今環境下，隨著人工智能需求的不斷增長，數據量增加，網絡運營中心 (NoC) 和面料設計師需要考慮很多因素，同時也導致網絡擁堵加劇。

一個關鍵的轉變是，人工智能工作負載已經不再適用于“平均情況”假設。Arteris 公司的 Nightingale 表示：“訓練需要大規模地保證持續帶寬、多播效率和內存一致性。推理——尤其是在邊緣端——則需要有限且可預測的延遲。在這兩種情況下，數據質量和正確性不再僅僅是軟件問題。當內存流量消耗掉 80% 到 90% 的推理時間或動態能量時，擁塞、時間波動或靜默的數據損壞都會直接影響模型行為和系統結果。”

最后，網絡問題和數據瓶頸的影響正變得愈發關鍵。“隨著人工智能從數字推理發展到物理的、現實世界的交互，數據管理故障不再只是輕微地降低性能，”奈廷格爾說道，“它們會直接導致精度下降、安全風險或系統無法擴展。設計確定性、可觀察性和適應性的數據傳輸方式已不再是可選項，而是基礎性要求。效率源于嚴謹的管理。”

（來源： 編譯自semiengineering ）

*免責聲明：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支持，如果有任何異議，歡迎聯系半導體行業觀察。

今天是《半導體行業觀察》為您分享的第4360內容，歡迎關注。

加星標??第一時間看推送

求推薦