InfiniBand vs RoCE għal Netwerks ta' Inferenza AI

AgħżelInfiniBandmeta l-ammont tax-xogħol tal-inferenza tiegħek jgħix jew imut minn latency prevedibbli tad-denb, u agħżelRoCE(RDMA fuq Converged Ethernet) meta trid prestazzjoni tal-klassi RDMA-fuq drapp Ethernet tista' tiskala, taqsam, u topera mat-tim li diġà għandek. L-ebda għażla ma tirbaħ kullimkien. Is-sejħa t-tajba tiddependi fuq il-mudell ta' inferenza tiegħek, il-miri ta' latenza p99 u p999 tiegħek, l-iskala tal-GPU, il-baġit, u kemm il-kompetenza tal-irfinar tal-Ethernet mingħajr telf fil-fatt tinsab fit-tim tiegħek.

Għaliex in-Netwerk Jgħodd Aktar milli Jistennew it-Timijiet tal-Inferenza

Għal snin sħaħ, l-inferenza ġiet ittrattata bħala n-nofs faċli tal-istorja tal-GPU: mudell mgħobbi fuq nodu wieħed, talbiet moqdija b'mod indipendenti, ftit li xejn traffiku fil-Lvant-punent. Dik l-istampa issa hija skaduta. L-inferenza moderna hija dejjem aktar distribwita, u diversi mudelli jagħmlu pressjoni reali fuq id-drapp.

• Paralleliżmu tat-tensorjaqsam saff wieħed bejn il-GPUs, u għalhekk kull pass tat-token iqajjem l-operazzjonijiet kollha-inaqqas jew kollha-ġabra bejniethom. Dan huwa frekwenti, latency-sensittivi, cross-traffiku tal-GPU li l-GPUs jimblokkaw waqt li jkunu qed jistennew.
• Paralleliżmu tal-pipelineattivazzjonijiet tal-idejn minn stadju għall-ieħor, ħafna drabi fuq in-nodi, billi żżid id-dipendenzi tan-node cross-ma' kull pass 'il quddiem.
• Prefill u dekowd diżaggregatjifred il-fażi tal-compute-heavy prefill mill-fażi ta' dekowdjar sensittiva tal-latency-, imbagħad iċċaqlaq il-cache KV bejniethom. Dawk it-trasferimenti huma kbar u fqigħ, u kwalunkwe dewmien jidher direttament bħala ħin aktar bil-mod-għall--l-ewwel-latenza ta' token u inter-token.
• Ġenerazzjoni miżjuda ta' -irkupru (RAG)iżid it-traffiku tal-lvant-punent ma' servizzi ta' vector u tfittxija. Normalment ikun inqas latency-kritika minn operazzjonijiet kollettivi, iżda xorta jgħabbi d-drapp, speċjalment f'volum għoli ta' mistoqsijiet.
• Jservu b'ħafna-inkwiliniiqiegħed ħafna mudelli u utenti fuq l-istess drapp, fejn mikrofqigħ u effetti storbjużi-ġirien isiru r-riskju dominanti.

Meta n-netwerk ikun l-ostaklu, is-sintomi huma għaljin: ħin ogħla-għall--l-ewwel-token, GPUs waqfien waqt li jistennew id-dejta, throughput li jiġġarraf taħt il-fqigħ, u p95 u p99 instabbli. U hawn hija l-parti li tgħaqqad il-benchmarks: il-latenza medja taħbi kollox. L-inferenza tal-produzzjoni hija ġġudikata fuq id-denb, mhux il-medja.

InfiniBand vs RoCE: Tabella Sommarja għall-Inferenza AI

X'inhu InfiniBand?

InfiniBand huwa drapp tan-netwerk mibni apposta-iddisinjat mill-bidu għal latenza baxxa, throughput għoli, u komunikazzjoni mingħajr telf. Mhuwiex togħma aktar mgħaġġla ta 'Ethernet. Jiġi bl-adapters tal-kanal ospitanti tiegħu stess, swiċċijiet, maniġer tas-subnet, ekosistema tal-kejbils, u mudell ta' kontroll-konġestjoni. Il-valur li jiddefinixxi tiegħu huwa l-imġieba deterministika: ħafna GPUs jistgħu jikkomunikaw b'rekwiżiti ta 'ħin stretti, u d-drapp jibqa' jġib ruħu b'mod konsistenti anke meta t-traffiku kollettiv ikun tqil.

Pjattaformi InfiniBand orjentati lejn l-AI-moderni jestendu dik il-bażi b'kapaċitajiet immirati direttament lejn clusters kbar tal-GPU. Il-linja Quantum InfiniBand ta 'NVIDIA, pereżempju, żżidrotta adattivi,-kompjuters fin-netwerk, u kontroll tal-konġestjoni-ibbażat fuq it-telemetrija, li jgħinu lid-drapp jinfirex it-traffiku b'mod intelliġenti u jiżola t-tagħbija ta 'kerrej minn ta' ieħor. Għall-inferenza, InfiniBand jaqla 'l-post tiegħu meta l-ammont ta' xogħol ma jistax jittollera jitter jew meta diversi nodi tal-GPU għandhom jiskambjaw id-dejta malajr u b'mod konsistenti.

Il-kompromessi- huma l-ispiża, il-konċentrazzjoni tal-ekosistema, u l-ispeċjalizzazzjoni operattiva. Drapp InfiniBand dedikat ifisser swiċċijiet, adapters, kejbils jew moduli ottiċi ddedikati, u inġiniera komdi mal-ġestjoni tad-drapp InfiniBand. Għal organizzazzjoni li diġà tħaddem oqsma Ethernet kbar, it-tidwir fuq drapp separat iżid il-kumplessità tal-akkwist, l-ippjanar tal-ispare-spare parts, u l-monitoraġġ tal-overhead.

X'inhu RoCE (RDMA over Converged Ethernet)?

RoCE jġib RDMA, memorja diretta-għal-moviment tad-dejta tal-memorja b'overhead baxx tas-CPU, għal netwerks Ethernet. RoCEv2, il-verżjoni użata fiċ-ċentri tad-dejta moderni, hija rotta fuq in-netwerks IP tas-Saff 3 u kienet standardizzata mill-Assoċjazzjoni tal-Kummerċ InfiniBand. Dik ir-routability hija dak li jħalli lil RoCE jidħol b'mod naturali fid-disinji tal-weraq-ethernet tas-sinsla filwaqt li jerġa' juża NICs familjari, swiċċijiet, ottiċi, u għodod ta' monitoraġġ.

Il-qabda hija li t-trasport RDMA jassumu netwerk kważi-bla telf. Waqqa 'pakkett u t-trasport jaqa' lura għal imġieba ta 'ritrażmissjoni li tkisser il-latency tad-denb. Allura RoCE jeħtieġ li l-Ethernet taħtu jġib ruħu bħal drapp mingħajr telf, u dan jiddependi fuq konfigurazzjoni bir-reqqa ta 'żewġ mekkaniżmi b'mod partikolari:Kontroll tal-Fluss Prijoritarju (IEEE 802.1Qbb), li jwaqqaf klassi waħda tat-traffiku biex jipprevjeni qtar, uNotifika ta' Konġestjoni Espliċita (ECN), li jindika konġestjoni kmieni sabiex il-mittenti jonqsu qabel ma l-buffers ifur. Żid ma' dak il-ġestjoni tal-kju, l-allokazzjoni tal-buffer, u l-immappjar tal-QoS, u jidher ċar li RoCE ta'-prestazzjoni għolja mhuwiex Ethernet ordinarju.

Magħmul tajjeb, RoCE jagħti biżżejjed latency u throughput għal firxa wiesgħa ta 'servizzi ta' inferenza ta 'produzzjoni, u ħafna xogħol ta' inferenza huma sinkronizzati inqas sewwa minn taħriġ distribwit, li jaħdem favur RoCE. Magħmul ħażin, jipproduċi telf ta' pakketti, imblukkar tar-ras-tal--linja, tixrid tal-konġestjoni, u dnub instabbli, li kollha jissarrfu direttament fi kwalità tas-servizz degradata.

InfiniBand vs RoCE Latency: Liema Huwa Aħjar għall-Inferenza p99?

Iż-żewġ drappijiet jistgħu jwasslu netwerking ta'-bandwidth għoli,-latenza baxxa. Huma differenti fil-mod kif jaslu hemm. InfiniBand huwa deterministiku mill-kostruzzjoni, għalhekk jitter jibqa 'baxx anke taħt tagħbija mħallta. RoCE jista' jqabbelha għal ħafna xogħol, iżda r-riżultat jiddependi fuq id-drapp tal-Ethernet u kemm huwa sintonizzat tajjeb.

Mill-perspettiva tal-iskjerament, il-problema reali fil-produzzjoni rari hija l-ogħla bandwidth. Huwa jitter taħt traffiku mħallat, bursty, multi-kerrejja. Drapp RoCE li jaċċedi għal test ta' throughput nadif, stil iperf-għadu jista' jitlef il-mira p99 tiegħu fil-mument li l-mikrobursts u l-argument jidħlu fl-istampa. Dak id-distakk bejn benchmark tal-laboratorju u SLA tal-produzzjoni huwa fejn jgħixu l-biċċa l-kbira tas-sorpriżi.

InfiniBand għandu tendenza li jkollu vantaġġ meta:

• Is-servizz għandu miri stretti ta' latenza p99 jew p999.
• L-inferenza tifrex fuq bosta nodi tal-GPU b'tensor jew paralleliżmu tal-pipeline, jew tuża prefill u dekowd diżaggregat.
• L-utilizzazzjoni tal-GPU hija sensittiva ħafna għad-dewmien tan-netwerk, għalhekk l-istalel huma għaljin.
• Il-cluster iħaddem numru żgħir ta' xogħol ta'-prijorità għolja fejn il-prevedibbiltà tegħleb il-flessibilità.

RoCE ġeneralment ikun tajjeb biżżejjed meta:

• It-talbiet huma fil-biċċa l-kbira indipendenti, jew l-akkoppjar huwa maħlul.
• Ix-xogħol jimxi fi ħdan node jew numru żgħir ta 'nodi.
• It-throughput tal-lott huwa importanti aktar minn latency tail ultra-baxxa.
• It-tim diġà jopera l-Ethernet, u l-flessibbiltà tal-ispiża jew tal-bejjiegħ hija prijorità.
• Il-cluster jappoġġja kerrejja multipli jew xogħol imħallat.

Spiża RoCE vs InfiniBand: X'inhu Attwalment Imexxi TCO?

RoCE spiss jissejjaħ l-għażla irħas, iżda l-prezz tal-iswiċċ huwa parti żgħira mill-istampa. Tqabbil realistiku jħares lejn il-munzell kollu: adapters tan-netwerk jew HCAs, swiċċijiet, moduli ottiċi, DAC, AOC, u kejbils tal-fibra, topoloġija tar-rack, enerġija u tkessiħ, is-sistema operattiva tan-netwerk, monitoraġġ u telemetrija, ħin ta 'inġinerija, spare parts, appoġġ tal-bejjiegħ, u l-passaġġ għal 400G jew 800G.

InfiniBand normalment iġorr spiża bil-quddiem ogħla minħabba li teħtieġ drapp iddedikat u komponenti speċjalizzati. F'ambjenti fejn l-imġieba deterministika hija l-ogħla prijorità, tista 'tnaqqas l-isforz tal-irfinar u s-soluzzjoni tal-problemi li jitlob drapp Ethernet mingħajr telf. RoCE inaqqas l-ispiża tal-hardware meta proprjetà Ethernet eżistenti, bl-appoġġ ta 'Data Center Bridging it-tajjeb, tista' terġa 'tintuża, iżda tbiddel l-isforz fit-tfassil, il-validazzjoni, il-monitoraġġ u s-soluzzjoni tal-problemi tat-tessut mingħajr telf. Disinn RoCE ta'-spiża baxxa jsir għali malajr jekk jikkawża latenza instabbli u tifi tan-nar ripetut.

L-ispiża u r-riskju jikkonċentraw fis-saff fiżiku hekk kif il-veloċitajiet jitilgħu. F'400G u 800G, l-ottika tiddomina kemm il-kont kif ukoll il-modi ta 'falliment. Il-biċċa l-kbira tal--portijiet ta' veloċità għolja jinżlu fuqhomQSFP-DD jew fatturi tal-forma komparabbli, u tqabbel il-leminottika waħda-modalità jew multimodesal-ilħuq attwali tiegħek huwa wieħed mill-aktar modi sempliċi biex tevita infiq żejjed fuq drapp li m'għandux bżonn moduli ta'-distanza twila.

Fi kliem ċar: RoCE mhix l-għażla irħas jekk it-tim tiegħek m'għandux kompetenza mingħajr telf-Ethernet. L-iffrankar fuq il-ħardwer jista 'jittiekel malajr mill-ispiża tal-inġinerija li d-drapp jinżamm stabbli.

Skalabbiltà u Operazzjonijiet

L-iskalabbiltà hija aktar mill-għadd tal-port. Jinkludi kemm id-drapp jiġi skjerat, immonitorjat, estiż u rkuprat faċilment meta xi ħaġa tfalli.

InfiniBand huwa b'saħħtu meta l-cluster ikun iddisinjat bħala drapp dedikat ta'-prestazzjoni għolja mill-ewwel jum. Jagħti mġiba konsistenti fuq skala, iżda jistenna għodda speċifika ta' InfiniBand-, bħal maniġer tas-subnet u ġestjoni unifikata tad-drapp, u persunal li huwa komdu bil-kunċetti ta' InfiniBand. Dan jagħmilha adatta naturali għal raggruppamenti ċentralizzati tal-AI mibnija madwar il-piżijiet tax-xogħol tal-GPU.

Slots RoCE f'disinji ta' ċentri tad-dejta Ethernet: topoloġiji tal-weraq-sinsla, IP routing, ECMP, u prattiki ta' monitoraġġ familjari. Huwa eżattament għaliex tappella għal infrastruttura GPU ta' stil-cloud u multi-kerrej. Id-dixxiplina li titlob hija l-konsistenza. PFC, ECN, QoS, ġestjoni tal-buffers, u kontroll tal-konġestjoni għandhom jiġu ddisinjati b'mod koerenti tul il-mogħdija kollha, minħabba li konfigurazzjoni ħażina żgħira f'rokna waħda tad-drapp tista 'tinfirex u tiddegrada ħafna xogħol f'daqqa. Is-saff fiżiku għandu skala nadif wisq; -densità għoljaMPO u MTP trunk u breakout cablingiżomm drapp tal-weraq-spina li qed jikber maniġġabbli aktar milli jbiddel kull espansjoni f'puzzle tal-kejbils.

Il-mera-punt tal-immaġni ta' min jgħid: InfiniBand huwa diffiċli biex tiġġustifika meta l-inferenza tibqa' l-aktar f'nodu wieħed u d-drapp bilkemm jiġi eżerċitat.

Liema Netwerk għal Kull Xogħol ta' Inferenza

Meta RoCE Huwa Tajjeb Biżżejjed, u Meta Issir Riskju

RoCE huwa tajjeb biżżejjed għal talbiet indipendenti jew akkoppjati b'mod laxk, xogħol ta' lott-orjentat lejn throughput, u clusters multi-inkwilini fejn tista' tiskonnettja l-iżolament, speċjalment meta t-tim ikun fluwenti fil-Bridging Ethernet taċ-Ċentru tad-Data. Isir riskjuż b'modi speċifiċi u rikonoxxibbli:

• PFC maltempati.Il-frejms tal-pawża jinfirxu 'l fuq u jiffriżaw traffiku li ma kellu xejn x'jaqsam mal-konġestjoni oriġinali.
• Imblukkar-tal--linja.L-immappjar ta' prijorità oħxon iħalli klassi waħda konġestjonata twaqqaf lil oħrajn jaqsmu kju.
• ECN mistuning.Immarka tard wisq u ikollok qtar; immarka b'mod aggressiv wisq u throttle throughput bla bżonn.
• Konġestjoni Microburst.Sub-sekonda jinfaqa buffers ta' overflow iżda tibqa' inviżibbli għall-monitoraġġ ta' dawk il-kampjuni f'riżoluzzjoni ta'-sekonda.
• Konfigurazzjoni inkonsistenti.Settings mhux imqabbla mal-weraq u s-sinsla jikkaġunaw li tinfirex il-konġestjoni aktar milli jibqgħu lokali.

L-ebda waħda minn dawn ma hija raġunijiet biex jiġi evitat ir-RoCE. Huma raġunijiet biex iddisinja d-drapp mingħajr telf b'mod koerenti minn tarf sa tarf u biex tinvesti f'telemetrija -fine, microburst-konxja qabel ma tiskala.

Meta InfiniBand Huwa Worth It, u Meta Inti Iżżejjed

InfiniBand jiswa l-premium tiegħu għal miri p99 u p999 stretti, servizz multi-node akkoppjat sewwa, u xogħol-kritiku ta' missjoni fejn il-penali SLA huma għoljin, speċjalment fuq cluster GPU ddedikat iddisinjat madwar id-drapp. X'aktarx tkun qed tixtri żżejjed meta l-inferenza tibqa' f'node, meta x-xogħol ikun lott orjentat lejn it-throughput-, meta jkollok bżonn l-istess drapp biex iġorr ukoll ħażna, ġestjoni, u traffiku ta' cloud multi-inkwilini, jew meta sempliċement ma tkunx il-kapaċità operattiva biex tħaddem InfiniBand tajjeb.

L-ispejjeż li ma jidhrux fuq il-kwotazzjoni tal-iswiċċ huma reali: il-konċentrazzjoni tal-ekosistema, l-ispiża ġenerali tat-tħaddim tat-tieni drapp b'mod parallel man-netwerk Ethernet tiegħek, u ppjanar separat għal spares, ottika u monitoraġġ.

Kif Test InfiniBand vs RoCE Qabel ma Tagħżel

Tiddeċiedix dwar ir-reputazzjoni tal-protokoll jew spec sheet. Iddeċiedi fuq punt ta' referenza li jixbaħ il-produzzjoni. Sekwenza prattika:

• Iddefinixxi l-SLA fi dnub.Issettja p50, p95, p99, u p999 għall-ħin-għall--l-ewwel-latenza ta' token u inter-token, mhux biss medja.
• Replay traffiku realistiku.Uża daqsijiet tal-mudelli mħallta u mħallta u konkorrenza ta' diversi-kerrejja aktar milli fluss nadif wieħed.
• Tagħbija għall-konġestjoni.Imbotta d-drapp sakemm ikun ġenwinament sostnut, imbagħad kejjel l-utilizzazzjoni tal-GPU. Jekk il-GPUs qed jieqfu fuq in-netwerk, id-drapp huwa l-konġestjoni tiegħek.
• Ara l-bankijiet dritt.Track pause frames, marki ECN, packet drops, ritrażmissjonijiet, counters tal-iżbalji tal-port, u, f'400G u 800G, żbalji FEC.
• Ivvalida s-saff fiżiku.Materji tal-fibra nadif, installati b'mod korrett;installazzjoni tal-fibra bir-reqqajipprevjeni l-iżbalji intermittenti, diffiċli-biex-dijanjostikati li huma suxxettibbli għalihom links ta' veloċità għolja-.

Jekk RoCE żżomm il-mira p99 tagħha taħt tagħbija realistika, sostnuta, multi-inkwilini b'counters stabbli, hija għażla b'saħħitha u kost-effettiva. Jekk tgħaddi biss minn testijiet ta'-nixxiegħa waħda nadifa, għadek ma ttestjajtx il-ħaġa li tiddeċiedi l-SLA tiegħek.

Żbalji Komuni li għandhom jiġu evitati

• Jekk wieħed jassumi l-inferenza kollha hija netwerking ħafif.Xi inferenza hija sempliċi u indipendenti; xi wħud huma mqassma, latency-sensittivi, u bandwidth-ġuħ. It-trattament ta’ dan kollu bħala faċli jwassal għal infrastruttura li mhix mibnija biżżejjed.
• Tqabbil biss latenza medja.L-inferenza tal-produzzjoni tiddependi fuq id-denb. Dejjem evalwa p95, p99, u p999 taħt traffiku realistiku.
• It-trattament ta' RoCE bħala Ethernet plug-and-play.RoCE ta'-prestazzjoni għolja jeħtieġ disinn intenzjonat ta' drapp mingħajr telf-, kontroll tal-konġestjoni, u osservabilità kontinwa.
• Tagħżel InfiniBand biss għax hija aktar mgħaġġla.L-aħjar għażla ta 'prestazzjoni mhix dejjem l-aħjar għażla ta' negozju. Jekk l-ammont ta' xogħol ma jeħtieġx imġieba deterministiku, RoCE jista' jagħti valur aħjar.
• Injora s-saff fiżiku.F'400G u 800G, kejbils, ottiċi, konnetturi, u l-indafa tal-fibra joħolqu żbalji intermittenti li huma diffiċli biex jinstabu u għaljin biex jiġu rranġati.

Bottom Line

Għall-inferenza AI, InfiniBand u RoCE huma t-tnejn validi, u jaqdu prijoritajiet differenti. Agħżel InfiniBand meta jkollok bżonn l-aktar netwerk konsistenti ta'-latenza baxxa għal-ħin reali, SLA-inferenza sensittiva, jew akkoppjata sewwa. Agħżel RoCE meta jkollok bżonn drapp skalabbli, ibbażat fuq l-Ethernet, kost-effiċjenti għall-inferenza tal-lott, servizzi GPU b'ħafna-kerrejja, xogħol RAG, u infrastruttura flessibbli.

Id-deċiżjoni għandha tibda bit-tagħbija tax-xogħol, il-mira tal-latency, l-iskala tal-cluster, il-kapaċità tal-operazzjonijiet tiegħek, u l-pjan direzzjonali tal-aġġornament, mhux bil-protokoll. Jekk il-cluster tiegħek għandu jżomm p99 strett taħt tagħbija kbira, InfiniBand jistħoqqlu konsiderazzjoni serja. Jekk l-għan tiegħek huwa li tiskala l-inferenza ekonomikament f'ċentru tad-dejta Ethernet, RoCE normalment ikun it-triq l-aktar prattika. Jew il-mod, benchmark taħt produzzjoni-bħal tagħbija qabel ma tikkommetti.