인공 지능 워크로드는 GPU 간 대량의 데이터 전송을 처리하는 소수의 작업이 특징이며, 꼬리 지연 시간은 전체 애플리케이션 성능에 큰 영향을 미칠 수 있습니다. 이러한 트래픽 패턴을 처리하기 위해 기존 네트워크 라우팅 메커니즘을 사용하면 GPU 성능이 일관되지 않고 AI 워크로드 활용도가 낮아질 수 있습니다.

NVIDIA Spectrum-X RoCE 동적 라우팅은 혼잡을 피하기 위해 RDMA 데이터 라우팅을 동적으로 조정하는 세분화된 로드밸런싱 기술이며, BlueField 3의 DDP 기술과 결합되어 최적의 로드밸런싱을 제공하고 보다 효율적인 데이터 대역폭을 달성합니다.

Spectrum-X 네트워크 플랫폼 개요

NVIDIA® Spectrum™-X 네트워크 플랫폼은 이더넷 기반 AI 클라우드의 성능과 효율성을 향상 시키도록 설계된 최초의 이더넷 플랫폼입니다. 이 획기적인 기술은 LLM과 유사한 대규모 AI 워크로드에서 AI 성능과 전력 효율성을 1.7배 향상하고 멀티테넌트 환경에서 일관성과 예측 가능성을 보장합니다. Spectrum-X는 Spectrum-4 이더넷 스위치와 NVIDIA BlueField®-3 DPU 네트워크 카드를 기반으로 하며 AI 워크로드에 대해 엔드투엔드 최적화되어 있습니다.

Spectrum-X 핵심 기술

AI 워크로드를 지원하고 가속화하기 위해 Spectrum-X는 다음을 포함하여 DPU부터 스위치, 케이블/광 장치, 네트워크 및 가속 소프트웨어에 이르기까지 일련의 최적화를 수행했습니다.

• Spectrum-4의 NVIDIA RoCE 적응형 라우팅
• BlueField-3의 NVIDIA DDP(직접 데이터 배치)
• Spectrum-4 및 BlueField-3의 NVIDIA RoCE 혼잡 제어
• NVIDIA AI 가속 소프트웨어
• 엔드투엔드 AI 네트워크 가시성

Spectrum-X 주요 이점

• AI 클라우드 성능 향상: Spectrum-X는 AI 클라우드 성능을 1.7배 향상시킵니다.
• 표준 이더넷 연결: Spectrum-X는 이더넷 표준을 완벽하게 준수하며 이더넷 기반 기술 스택과 완벽하게 호환됩니다.
• 에너지 효율성 향상: Spectrum-X는 성능을 향상하여 보다 에너지 효율적인 AI 환경에 기여합니다.
• 향상된 다중 테넌트 보호: 다중 테넌트 환경에서 성능 격리를 수행하여 각 테넌트의 워크로드에 대한 최적의 일관된 성능을 보장하고 고객 만족도와 서비스 품질을 향상시킵니다.
• 향상된 AI 네트워크 가시성: 가시성을 위해 AI 클라우드에서 실행되는 트래픽을 모니터링하고, 성능 병목 현상을 식별하며, 현대 자동화된 네트워크 검증 솔루션의 핵심 구성 요소가 됩니다.
• 더 높은 AI 확장성: 단일 홉에서 128개의 400G 포트로 확장하거나 8계층 스파인 토폴로지에서 XNUMXK 포트로 확장하는 동시에 고성능 수준을 유지하고 AI 클라우드 확장을 지원합니다.
• 더 빠른 네트워크 설정: AI 워크로드에 완전히 최적화되고 자동화된 고급 네트워크 기능의 엔드 투 엔드 구성입니다.

스펙트럼-4 이더넷 스위치

Spectrum-4 스위치는 51.2Tbps ASIC에 구축되어 단일 128U 스위치에서 최대 400개의 2G 이더넷 포트를 지원합니다. Spectrum-4는 AI 워크로드용으로 설계된 최초의 이더넷 스위치입니다. AI의 경우 RoCE가 확장되었습니다.

• RoCE 적응형 라우팅
• RoCE 성능 격리
• 대규모 표준 이더넷에서 효과적인 대역폭 향상
• 낮은 대기 시간, 낮은 지터, 짧은 꼬리 대기 시간

BlueField-3 DPU

NVIDIA BlueField-3 DPU는 조직이 클라우드에서 코어 데이터 센터, 엣지에 이르기까지 소프트웨어 정의, 하드웨어 가속 IT 인프라를 구축할 수 있도록 지원하는 400세대 데이터 센터 인프라 칩입니다. 3Gb/s 이더넷 네트워크 연결을 통해 BlueField-XNUMX DPU는 다음을 수행할 수 있습니다. off소프트웨어 정의 네트워킹, 스토리지, 보안 및 관리 기능을 로드, 가속화 및 격리하여 데이터 센터의 성능, 효율성 및 보안을 크게 향상시킵니다. BlueField-3는 Spectrum-X로 구동되는 클라우드 AI 데이터 센터에서 남북 및 동서 트래픽을 위한 멀티 테넌트의 안전한 성능 기능을 제공합니다.

NVIDIA BlueField-3 400Gb/s 이더넷 DPU

BlueField-3는 AI 가속을 위해 구축되었으며 AI용 올투올 엔진, NVIDIA GPUDirect 및 NVIDIA Magnum IO GPUDirect 스토리지 가속 기술을 통합합니다.

또한 로컬 메모리를 활용하여 대규모 AI 클라우드를 가속화하는 특수 네트워크 인터페이스 모드(NIC) 모드도 있습니다. 이러한 클라우드에는 시스템 메모리를 사용하는 대신 로컬 주소에서 액세스할 수 있는 다수의 대기열 쌍이 포함되어 있습니다. 마지막으로 RoCE 적응형 라우팅을 향상시키는 NVIDIA Direct Data Placement(DDP) 기술이 포함되어 있습니다.

NVIDIA 엔드투엔드 물리 계층(PHY)

Spectrum-X는 NVIDIA의 SerDes 기술을 사용하여 스위치부터 DPU, GPU까지 동일한 100G SerDes 채널에 구축된 유일한 이더넷 네트워크 플랫폼입니다.

NVIDIA의 SerDes는 뛰어난 신호 무결성과 최저 비트 오류율(BER)을 보장하여 AI 클라우드의 전력 소비를 크게 줄여줍니다. NVIDIA의 Hopper GPU, Spectrum-4, BlueField-3 및 Quantum InfiniBand 제품 포트폴리오와 결합된 이 강력한 SerDes 기술은 전력 효율성과 성능의 완벽한 균형을 달성합니다.

일반적인 Spectrum-X 네트워크 토폴로지

SerDes 기술은 병렬 데이터를 직렬 데이터로 또는 그 반대로 변환할 수 있으므로 현대 데이터 전송에서 중요한 역할을 합니다.

네트워크 또는 시스템의 모든 네트워크 장치 및 구성 요소에 균일하게 SerDes 기술을 사용하면 다음과 같은 많은 이점을 얻을 수 있습니다.

비용 및 전력 효율성: NVIDIA Spectrum-X에서 사용하는 SerDes는 높은 전력 효율성에 최적화되어 있으며 다양한 데이터 속도를 연결하는 데 사용되는 네트워크의 기어박스가 필요하지 않습니다. 기어박스를 사용하면 데이터 경로의 복잡성이 증가할 뿐만 아니라 추가 비용과 전력 소비도 늘어납니다. 이러한 기어박스가 필요하지 않으므로 전력 및 냉각과 관련된 초기 투자와 운영 비용이 줄어듭니다.

시스템 설계 효율성: 데이터 센터 인프라에서 최고의 SerDes 기술을 균일하게 사용하면 신호 무결성이 향상되고 시스템 구성 요소의 필요성이 줄어들며 시스템 설계가 단순화됩니다. 동시에 동일한 SerDes 기술을 사용하면 작업이 더 쉬워지고 가용성도 향상됩니다.

NVIDIA 가속 소프트웨어

넷큐

NVIDIA NetQ는 실시간 AI 네트워크 가시성, 문제 해결 및 검증을 위한 확장성이 뛰어난 네트워크 운영 도구 세트입니다. NetQ는 NVIDIA 스위치 원격 측정 데이터와 NVIDIA DOCA 원격 측정을 활용하여 스위치 및 DPU 상태에 대한 통찰력을 제공하고 네트워크를 조직의 MLOps 시스템에 통합합니다.

또한 NetQ 트래픽 원격 측정은 스위치 포트와 RoCE 대기열 전체의 흐름 경로와 동작을 매핑하여 특정 애플리케이션의 흐름 상황을 분석할 수 있습니다.

NetQ 샘플은 각 흐름 경로의 대기 시간(최대, 최소 및 평균)과 버퍼 점유 세부 정보를 분석하고 보고합니다. NetQ GUI는 가능한 모든 경로, 각 경로의 세부 정보 및 흐름 동작을 보고합니다. 원격 측정 원격 측정과 트래픽 원격 측정을 결합하면 네트워크 운영자가 서버 및 애플리케이션 문제의 근본 원인을 사전에 식별하는 데 도움이 됩니다.

스펙트럼 SDK

NVIDIA 이더넷 스위치 소프트웨어 개발 키트(SDK)는 패킷 속도, 대역폭 또는 대기 시간 성능에 영향을 주지 않는 복잡한 프로그래밍 기능을 통해 스위칭 및 라우팅 기능을 구현할 수 있는 유연성을 제공합니다. SDK, 서버, 네트워크 OEM 및 네트워크 운영 체제(NOS)를 통해 공급업체는 이더넷 스위치 시리즈 집적 회로(IC)의 고급 네트워크 기능을 활용하여 유연하고 혁신적이며 비용 최적화된 스위칭 솔루션을 구축할 수 있습니다.

엔비디아 DOCA

NVIDIA DOCA는 NVIDIA BlueField DPU의 잠재력을 발휘하는 열쇠입니다. off데이터 센터 워크로드를 로드, 가속화 및 격리합니다. DOCA를 통해 개발자는 제로 트러스트 보호 기능을 갖춘 소프트웨어 정의, 클라우드 네이티브, DPU 가속 서비스를 생성하여 현대 데이터 센터의 증가하는 성능 및 보안 요구를 해결할 수 있습니다.

NVIDIA RoCE 동적 라우팅 작업 원리

RoCE 동적 라우팅은 Spectrum-4 스위치와 BlueField-3 DPU 간에 엔드투엔드 방식으로 작동합니다.

• Spectrum-4 스위치는 혼잡도가 가장 낮은 포트를 기준으로 각 패킷을 선택하고 데이터 전송을 균등하게 분배하는 역할을 담당합니다. 동일한 흐름의 서로 다른 패킷이 네트워크의 서로 다른 경로를 통과할 때 순서 없이 목적지에 도착할 수 있습니다.
• BlueField-3 DPU는 RoCE 전송 계층의 데이터를 처리하여 애플리케이션에 지속적인 데이터 투명성을 제공합니다. Spectrum-4 스위치는 나가는 대기열의 로드를 기반으로 혼잡 상황을 평가하고 모든 포트가 활용도 측면에서 균형을 이루도록 보장합니다. 스위치는 각 네트워크 패킷에 대해 로드가 가장 낮은 출력 대기열을 선택합니다. Spectrum-4 스위치는 또한 인접한 스위치로부터 상태 알림을 수신하며 이는 전달 결정에도 영향을 미칠 수 있습니다. 평가에는 트래픽 클래스와 일치하는 대기열이 포함됩니다. 따라서 Spectrum-X는 대규모 시스템 및 고부하 시나리오에서 최대 95%의 유효 대역폭을 달성할 수 있습니다.

2. NVIDIA RoCE 동적 라우팅 및 NVIDIA 직접 데이터 배치 기술

다음으로 Spectrum-X 네트워크에서 AI 흐름이 어떻게 이동하는지 보여주기 위해 데이터 패킷 수준의 예를 살펴보겠습니다.

Spectrum-4 스위치와 BlueField DPU 간의 데이터 패킷 수준 협력 프로세스를 보여줍니다.

1단계: 데이터는 그래프 왼쪽의 서버 또는 GPU 메모리에서 시작되어 오른쪽의 서버에 도달합니다.

2단계: BlueField-3 DPU는 데이터를 네트워크 패킷으로 래핑하여 첫 번째 Spectrum-4 리프 스위치로 전송하는 동시에 스위치가 RoCE 동적 라우팅을 수행할 수 있도록 이러한 패킷을 표시합니다.

3단계: 왼쪽 Spectrum-4 리프 스위치는 RoCE 동적 라우팅을 적용하여 녹색 및 보라색 흐름의 데이터 패킷 균형을 맞추고 각 흐름의 패킷을 여러 스파인 스위치로 보냅니다. 이는 표준보다 유효 대역폭을 증가시킵니다. EthernetSpectrum-X의 60%(95배)에 비해 1.6%입니다.

4단계: 이러한 패킷은 오른쪽 BlueField-3 DPU에 순서 없이 도착할 수 있습니다.

5단계: 올바른 BlueField-3 DPU는 NVIDIA DDP(직접 데이터 배치) 기술을 사용하여 데이터를 호스트/GPU 메모리에 올바른 순서로 배치합니다.

RoCE 동적 라우팅 결과

RoCE 동적 라우팅의 효율성을 검증하기 위해 RDMA 쓰기 테스트 프로그램을 사용하여 초기 테스트를 수행했습니다. 테스트에서 우리는 호스트를 여러 쌍으로 나누고 각 쌍은 특정 시간 동안 서로에게 많은 수의 RDMA 쓰기 데이터 스트림을 보냈습니다.

RoCE 동적 라우팅은 완료 시간을 단축할 수 있습니다.

위 그림과 같이 해시 기반의 정적 전달 방식에서는 업링크 포트에 충돌이 발생하여 완료 시간이 늘어나고 대역폭이 줄어들며 플로우 간 공정성이 저하됩니다. 동적 라우팅으로 전환하면 이러한 모든 문제가 해결됩니다.

ECMP 그래프에서 일부 흐름은 유사한 대역폭과 완료 시간을 표시하는 반면 다른 흐름은 충돌을 경험하여 완료 시간이 길어지고 대역폭이 낮아집니다. 구체적으로, ECMP 시나리오에서 일부 흐름의 최고 완료 시간 T는 13초인 반면, 가장 느린 흐름은 완료하는 데 31초가 소요되며 이는 이상적인 시간 T보다 약 2.5배 더 깁니다. RoCE 동적 라우팅 그래프에서 모든 흐름은 거의 동시에 완료되고 비슷한 피크 대역폭을 갖습니다.

AI 워크로드를 위한 RoCE 동적 라우팅

동적 라우팅을 사용하는 RoCE 워크로드의 성능을 추가로 평가하기 위해 우리는 32개의 NVIDIA Spectrum 스위치로 구축된 XNUMX계층 리프-스파인 네트워크 토폴로지의 XNUMX개 서버로 구성된 테스트 플랫폼에서 공통 AI 벤치마크를 수행했습니다. 이러한 벤치마크는 전체 트래픽 및 전체 감소 집합 작업과 같은 분산 AI 훈련 워크로드에서 공통 집합 작업 및 네트워크 트래픽 패턴을 평가했습니다.

RoCE 동적 라우팅으로 AI 전체 감소 향상

RoCE 동적 라우팅으로 AI 전체 기능 향상

RoCE 동적 라우팅 요약

많은 경우 ECMP 기반 해시 기반 흐름 라우팅은 높은 혼잡과 흐름 완료 시간을 불안정하게 만들어 애플리케이션 성능 저하를 초래할 수 있습니다. Spectrum-X RoCE 동적 라우팅은 이 문제를 해결합니다. 이 기술은 실제 네트워크 처리량(goodput)을 향상시키는 동시에 흐름 완료 시간의 불안정성을 최대한 최소화하여 애플리케이션 성능을 향상시킵니다. BlueField-3 DPU에서 RoCE 동적 라우팅과 NVIDIA Direct Data Placement(DDP) 기술을 결합하면 애플리케이션에 대한 투명한 지원을 얻을 수 있습니다.

NVIDIA RoCE 혼잡 제어를 사용하여 성능 격리 달성

네트워크 정체로 인해 AI 클라우드 시스템에서 실행되는 애플리케이션은 성능 저하와 불안정한 실행 시간을 경험할 수 있습니다. 이러한 정체는 애플리케이션의 네트워크 트래픽이나 다른 애플리케이션의 백그라운드 네트워크 트래픽으로 인해 발생할 수 있습니다. 이러한 혼잡의 주요 원인은 다중 대일 혼잡입니다. 즉, 데이터 송신자는 여러 명이고 데이터 수신자는 한 명입니다.

RoCE 동적 라우팅은 이러한 혼잡 문제를 해결할 수 없습니다. 이 문제를 해결하려면 각 엔드포인트의 네트워크 트래픽을 측정해야 합니다. Spectrum-X RoCE 혼잡 제어는 Spectrum-4 스위치가 네트워크 원격 측정 정보를 제공하여 네트워크의 실시간 혼잡 상황을 나타내는 지점 간 기술입니다. 이러한 원격 측정 정보는 BlueField-3 DPU에 의해 처리되며, BlueField-XNUMX DPU는 데이터 송신자의 데이터 주입 속도를 관리 및 제어하여 공유 네트워크의 효율성을 극대화합니다. 혼잡 제어가 없는 경우 다중 대일 시나리오로 인해 네트워크 과부하, 혼잡 전파 또는 패킷 손실이 발생하여 네트워크와 애플리케이션의 성능이 심각하게 저하될 수 있습니다.

혼잡 제어 프로세스에서 BlueField-3 DPU는 마이크로초 수준에서 초당 수천만 건의 혼잡 제어 이벤트를 처리하고 빠르고 세밀한 속도 결정을 내릴 수 있는 혼잡 제어 알고리즘을 실행합니다. Spectrum-4 스위치는 정확한 속도 추정을 위한 내부 원격 측정과 포트 활용률 표시기를 통해 정확한 혼잡 추정을 제공하여 빠른 복구를 달성합니다. NVIDIA의 혼잡 제어를 사용하면 원격 측정 데이터가 혼잡한 흐름의 대기열 지연을 우회하는 동시에 정확한 동시 원격 측정 정보를 제공하여 감지 및 응답 시간을 크게 줄일 수 있습니다.

다음 예는 네트워크가 어떻게 다대일 정체를 경험했는지, 그리고 Spectrum-X가 RoCE 정체 제어를 위해 트래픽 측정 및 내부 원격 측정을 어떻게 사용했는지 보여줍니다.

네트워크 정체로 인해 스트림 방해가 발생함

이 그림은 네트워크 정체로 인해 영향을 받는 흐름을 보여줍니다. 1개의 소스 DPU가 2개의 대상 DPU로 데이터를 전송하고 있습니다. 소스 3, 1, 4은 사용 가능한 링크 대역폭의 2/3를 사용하여 대상 2로 데이터를 보냅니다. 소스 XNUMX는 소스 XNUMX과 공유된 리프 스위치를 통해 대상 XNUMX로 데이터를 전송하여 대상 XNUMX가 사용 가능한 링크 대역폭을 XNUMX/XNUMX로 수신하게 합니다.

혼잡 제어가 없으면 소스 1, 2, 3은 모두 대상 1로 데이터를 보내기 때문에 1:1의 혼잡 비율을 발생시킵니다. 이러한 혼잡은 소스 4과 대상 2에 연결된 리프 스위치에서 역압을 유발합니다. 소스 XNUMX는 대상 XNUMX의 처리량이 사용 가능한 대역폭의 XNUMX%(예상 성능은 XNUMX%)로 떨어지는 정체된 흐름이 됩니다. 이는 평균 및 최악의 성능에 의존하는 AI 애플리케이션의 성능에 부정적인 영향을 미칩니다.

Spectrum-X는 트래픽 측정 및 원격 측정을 통해 혼잡 문제를 해결합니다.

그림은 Spectrum-X가 그림 14의 혼잡 문제를 어떻게 해결했는지 보여줍니다. 이는 동일한 테스트 환경을 보여줍니다. 즉, 1개의 소스 DPU가 2개의 대상 DPU로 데이터를 보냅니다. 이러한 상황에서 소스 3, 4, 4의 트래픽 측정은 리프 스위치의 혼잡을 방지합니다. 이렇게 하면 소스 XNUMX의 배압이 제거되어 예상 대역폭인 XNUMX/XNUMX를 달성할 수 있습니다. 또한 Spectrum-XNUMX는 What Just Happened에서 생성된 내부 원격 측정 정보를 사용하여 흐름 경로와 대기열 동작을 동적으로 재할당합니다.

RoCE 성능 격리

AI 클라우드 인프라는 다수의 사용자(테넌트)와 병렬 애플리케이션 또는 워크로드를 지원해야 합니다. 이러한 사용자와 애플리케이션은 성능에 영향을 미칠 수 있는 네트워크와 같은 인프라의 공유 리소스를 놓고 경쟁합니다.

또한 클라우드의 AI 애플리케이션에 대한 NCCL(NVIDIA Collective Communication Library) 네트워크 성능을 최적화하려면 클라우드에서 실행되는 모든 워크로드를 조정하고 동기화해야 합니다. 탄력성, 고가용성 등 클라우드의 기존 장점은 AI 애플리케이션의 성능에 제한적인 영향을 미치는 반면, 성능 저하는 전 세계적으로 더 중요한 문제입니다.

Spectrum-X 플랫폼에는 결합 시 성능 격리를 달성할 수 있는 여러 메커니즘이 포함되어 있습니다. 이는 워크로드가 다른 워크로드의 성능에 영향을 미치지 않도록 보장합니다. 이러한 서비스 품질 메커니즘은 다른 워크로드의 데이터 전송에 영향을 미칠 수 있는 네트워크 정체를 유발하는 워크로드가 없도록 보장합니다.

RoCE 동적 라우팅을 사용하여 세분화된 데이터 경로 밸런싱을 달성하고 리프 스위치와 스파인 스위치를 통한 데이터 흐름 충돌을 방지하여 성능 격리를 달성했습니다. 트래픽 측정 및 원격 측정을 통해 RoCE 혼잡 제어를 활성화하고 성능 격리를 더욱 강화합니다.

또한 Spectrum-4 스위치는 성능 격리를 촉진하기 위해 글로벌 공유 버퍼 설계를 채택합니다. 공유 버퍼는 다양한 크기의 흐름에 대해 대역폭 공평성을 제공하고, 동일한 대상 포트를 대상으로 하는 여러 흐름이 있는 시나리오에서 동일한 대상 포트 목표를 사용하여 잡음이 많은 이웃 흐름의 영향을 받지 않도록 보호하며, 여러 흐름이 대상으로 하는 경우 단기 전송을 더 잘 흡수합니다