Disinn tan-Netwerk tal-Kluster AI: Sinsla-Werqa, RoCE u NICs

Id-disinn tan-netwerk tal-clusters tal-AI huwa l-proċess tad-daqs tal-NICs tas-server tal-GPU, il-bandwidth tal-folja-spine, il-proporzjon ta' abbonament żejjed, is-settings RoCE, l-ottika u l-kejbils sabiex it-traffiku tat-taħriġ imqassam jibqa' prevedibbli hekk kif il-cluster jiżdied. Ikseb xi wieħed minn dawn ħażin u n-netwerk - mhux il-GPU - isir il-konġestjoni.

Għaliex in-Netwerking tal-Cluster AI Huwa Differenti

F'ċentru tad-dejta tal-intrapriża tradizzjonali, in-netwerk jieħu ħsieb taħlita ta' traffiku tal-utenti tat-tramuntana-nofsinhar, aċċess għall-ħażna, virtwalizzazzjoni u ġestjoni. Jeżisti traffiku tal-Lvant-punent iżda rari huwa t-tagħbija dominanti. Fi cluster AI, is-sitwazzjoni tinqaleb. Servers tal-GPU li jħaddmu gradjenti ta' skambju ta' taħriġ imqassma u jissinkronizzaw il-parametri matul kull pass tax-xogħol. Din il-komunikazzjoni hija parti mill-komputazzjoni, mhux effett sekondarju tagħha.

Jekk GPU ta' $30,000 tonfoq 30% tal-ħin tagħha tistenna fuq in-netwerk matul l-operazzjonijiet kollha-reduce, il-cluster effettivament iħallas għal 30% tal-kapaċità tal-komputazzjoni tiegħu biex joqgħod idle. Dik hija r-raġuni ekonomika għaliex in-netwerking tal-AI jieħu tant attenzjoni.

Tliet karatteristiċi tat-tagħbija tax-xogħol imexxu d-disinn:

• Traffiku fqigħ fil--lvant.Operazzjonijiet ta' komunikazzjoni kollettivi bħal kollha-inaqqsu, kollha-jiġbru u jnaqqsu-ixerrdu jipproduċu fqigħ sinkronizzati f'ħafna nodi fl-istess ħin.
• Sensittività ta' latenza ta' denb-.Nodu bil-mod wieħed idewwem il-pass kollu tat-taħriġ. Il-latenza prevedibbli hija importanti aktar mill-latenza medja.
• Skala-it-tkabbir.Clusters li jibdew minn 32 GPU spiss jikbru għal 256 jew 1,024 fi żmien 18-il xahar. Id-drapp għandu jiskala mingħajr disinn mill-ġdid.

Għaliex Is-Sinsla-Werqa Taqbel ma' Clusters tal-AI

Il-werqa tas-sinsla-hija d-drapp standard għal ċentri tad-dejta ta' hyperscale għaliex tagħti lil kull server-għal-mogħdija tas-server l-istess għadd ta' ħops u l-istess bandwidth teoretiku. Għall-piżijiet tax-xogħol tal-AI, din l-uniformità tissarraf direttament f'ħinijiet ta' taħriġ aktar prevedibbli.

F'topoloġija tal-werqa-spina, is-servers tal-GPU jgħaqqdu ma' swiċċijiet tal-weraq, u kull werqa tikkonnettja ma' kull sinsla. Kwalunkwe komunikazzjoni GPU-ma-GPU taqsam eżattament werqa waħda, sinsla waħda, u werqa waħda oħra. M'hemm l-ebda saffi ta 'aggregazzjoni li jintroduċu latency varjabbli jew chokepoints.

Latenza Prevedibbli

Ir-rotot ta'-spejjeż b'ħafna-mogħdijiet (ECMP) ixerred flussi bejn is-swiċċijiet tas-sinsla. Meta kkonfigurat b'mod korrett b'rotot adattiv jew ibbilanċjar dinamiku tat-tagħbija, dan jipprevjeni l-ħabtiet tal-hash li jikkawżaw xi flussi li jkunu ħafna aktar bil-mod minn oħrajn - problema magħrufa fi drappijiet ECMP statiċi li jġorru flussi ftit iżda kbar, li huwa eżattament dak li jiġġenera t-taħriġ tal-AI.

Wisgħa tal-Banda tal-Bisezzjoni Għolja

Il-faxxa tal-frekwenza tal-bisection hija l-fluss disponibbli bejn kwalunkwe żewġ nofsijiet ugwali tal-cluster. It-taħriġ tal-AI jibbenefika minn disinji li ma-imblukkaw jew qrib-non-imblukkaw fejn il-kapaċità ta' uplink tal-werqa-sa-ispina hija ugwali jew kważi ugwali għall-kapaċità ta' downlink li jiffaċċjaw is-servers. L-IETF jiddefinixxi u jiddiskuti dawn il-kunċetti fiRFC 7938, li jkopri drappijiet Clos b'rotta BGP-li jintużaw ħafna f'ċentri tad-data-skala kbira.

Skala aktar faċli-Oħroġ

Żid aktar weraq biex iżżid aktar servers. Żid aktar xewk biex iżżid aktar bandwidth bisection. Għal clusters lil hinn minn ftit eluf ta' GPUs, super-spina (5-stage Clos) jew topoloġija ottimizzata bil-ferrovija testendi l-istess prinċipju saff wieħed aktar.

Komponenti Ewlenin ta' Netwerk ta' Cluster AI

Servers GPU u NICs

L-NIC huwa fejn id-drapp jiltaqa' mal-host. Fil-clusters AI, l-għażla NIC tmexxi kollox downstream - veloċità tal-port tal-iswiċċ, għażla tal-ottika, u densità tal-kejbils.

Kriterji tal-għażla għall-piżijiet tax-xogħol tal-AI:

• Veloċità tal-port:200G, 400G jew 800G għal kull port. Taqbel mal-ġenerazzjoni tal-GPU u l-bandwidth PCIe.
• Ġenerazzjoni PCIe:NIC 400G jeħtieġ PCIe Gen5 x16 biex tevita t-throttling tal-ġenb tal-host-. Tappijiet PCIe Gen4 x16 f'~256 Gbps li jistgħu jintużaw.
• Appoġġ RDMA u RoCEv2:Meħtieġa għal-kernel-bypass libreriji ta' komunikazzjoni tal-GPU bħal NCCL.
• GPUDirect RDMA:Jippermetti GPU dirett-għal-NIC DMA, billi tneħħi kopji tal-memorja ospitanti.
• Kapaċità multi-ferroviji:Ħafna servers AI jużaw 4 jew 8 NICs għal kull node, wieħed għal kull par GPU, għal topoloġiji ottimizzati bil-ferrovija-.

Server tipiku ta '8-GPU illum juża jew NICs 4 × 400G (wieħed għal kull żewġ GPUs) jew NICs 8 × 400G (wieħed għal kull GPU) skont it-tagħbija tax-xogħol u l-baġit. Arkitetturi ta' referenza minnDokumentazzjoni tan-netwerking NVIDIAtkopri l-kompromessi tad-disinn fid-dettall.

Swiċċijiet tal-werqa u tas-sinsla

Il-kriterji tal-għażla tal-iswiċċ għal drappijiet AI huma differenti mill-għażla tal-intrapriża. Id-daqs tal-buffer, l-imġiba tal-kontroll tal-konġestjoni u t-telemetrija huma aktar importanti mill-wisa' tal-karatteristiċi.

• Veloċità u radix għal kull-port:Swiċċ 51.2 Tbps ASIC jagħti 64 × 800G portijiet jew 128 × 400G portijiet. Radix jiddetermina kemm jista 'jkun ċatt id-drapp.
• Arkitettura buffer:Il-buffers fil-fond jassorbu l-fqigħ incast iżda jżidu latenza. Buffers baxxi jnaqqsu l-latenza iżda jeħtieġu kontroll preċiż tal-konġestjoni.
• Sett ta' karatteristiċi RoCE:Immarkar ECN, PFC, DCQCN jew kontroll ekwivalenti tal-konġestjoni, u ġestjoni xierqa ta' kjuwijiet ta' prijorità minn tarf-sa-.
• Telemetrija:Telemetrija tan-netwerk inband (INT), kull-rappurtar tal-fond tal-kju, u counters ta' riżoluzzjoni ta' mikrosekonda- għall-marki ECN u pawżi PFC.

Ottika, DAC u AOC Cableling

F'400G u 800G, l-impjant tal-kejbils isir problema ta 'inġinerija reali. Fatturi tal-forma, baġits ta' rabta u konfigurazzjonijiet ta' tbegħid kollha jeħtieġu ppjanar bikri.

• DAC (Ram ta' Waħħal Dirett):Sa ~ 3 metri għal 400G, l-inqas spiża u l-inqas qawwa. Tqil u goff fuq skala.
• AOC (Kejbil Ottiku Attiv):Sa ~30 metru, irqaq mid-DAC, iżda tul fiss-u jikkonsma qawwa ottika fuq iż-żewġt itruf.
• Ottika plaggable:Meħtieġa lil hinn mid-distanza AOC. QSFP-DD u fatturi tal-forma OSFP jiddominaw 400G/800G. Assemblaġġi tal-fibra MPO/MTP jimmaniġġjaw il-konnessjonijiet tal-fibra paralleli-.

Għal links inter-rack u kejbils strutturati f'400G/800G, ottiċi paralleli fuq terminazzjonijiet MPO issa huma standard. L-għażla bejn il-kejbils tat-trunk u l-assemblaġġi tal-breakout tiddependi fuq l-allokazzjoni tal-port tal-iswiċċ tiegħek - ara tagħnaGwida tal-kejbil tat-tbegħid MPOgħall-loġika tal-għażla prattika, u l-usaMPO trunk vs paragun tat-tbegħidmeta tippjana ġirjiet tal-weraq-sa-ispina.

RoCE u Lossless Ethernet f'AI Fabrics

RoCEv2 (RDMA over Converged Ethernet v2) huwa t-trasport Ethernet dominanti għall-piżijiet tax-xogħol tal-AI. Hija tħalli l-NICs iċċaqlaq id-dejta direttament bejn ir-reġjuni tal-memorja tal-GPU mingħajr l-involviment tal-kernel fuq kull tarf. NCCL, il-librerija tal-komunikazzjoni tal-GPU li hija sottostanti kważi l-oqfsa kollha ta' taħriġ distribwit, juża RoCEv2 meta InfiniBand ma jkunx disponibbli.

RoCE jaħdem tajjeb meta kkonfigurat b'mod korrett. Jfalli ikrah meta kkonfigurat ħażin. Il-Assoċjazzjoni tal-Kummerċ InfiniBandjippubblika l-ispeċifikazzjonijiet RoCE, u l-biċċa l-kbira tal-bejjiegħa tal-NIC u tal-iswiċċ jippubblikaw gwidi ta' konfigurazzjoni dettaljati li għandhom jiġu segwiti minn tarf-sa-.

Għaliex l-Imġieba mingħajr Telf hija Kwistjoni

RDMA kien iddisinjat billi jassumi trasport mingħajr telf. Meta l-pakketti jinżlu, l-irkupru RDMA huwa għali - mur-lura-N it-trażmissjoni mill-ġdid tista' twaqqaf pass ta' taħriġ għal millisekondi, li huwa enormi meta mqabbel mal-baġit ta' skala ta' mikrosekonda-RDMA.

Biex tkun approssimattiva l-imġieba mingħajr telf fuq l-Ethernet, id-drapp juża żewġ mekkaniżmi li jaħdmu flimkien:

• PFC (Kontroll tal-Fluss ta' Prijorità, IEEE 802.1Qbb):Swiċċ iwaqqaf it-traffiku li jkun dieħel fuq kju ta' prijorità speċifika meta l-buffer tiegħu jimtela. Dan huwa l-aħħar-mekkaniżmu.
• ECN (Notifika ta' Konġestjoni Espliċita, RFC 3168):Swiċċijiet jimmarkaw pakketti meta kjuwijiet jersqu lejn limitu. L-NIC inaqqas ir-rata tal-bgħit tiegħu qabel ma l-buffers fil-fatt jimlew, idealment tevita l-PFC għal kollox.

L-għan huwa li l-ECN jagħmel kważi l-ġestjoni tal-konġestjoni kollha, bil-PFC bħala xibka ta 'sikurezza. Jekk tara pawżi frekwenti tal-PFC fi traffiku fi stat fiss-, il-limiti tal-ECN tiegħek huma żbaljati jew id-drapp tiegħek huwa żgħir.

Nuqqasijiet ta' Skjerament ta' RoCE Komuni

Kif Tfassal Netwerk ta' Cluster AI: Qafas ta' Ħidma

Din hija s-sezzjoni li l-biċċa l-kbira ta' l-artikoli ta' "netwerking AI" jaqbżu. Is-seba 'passi hawn taħt jagħtuk inputs u outputs konkreti f'kull stadju.

Pass 1: Iddefinixxi Xogħol u Skala

Inputs:Tip ta' tagħbija tax-xogħol (taħriġ minn qabel,-rfinar, inferenza, imħallat), għadd ta' GPU fil-mira llum, għadd ta' GPU fil-mira fi 18-il xahar, firxa ta' daqs tal-mudell.

Produzzjoni:Profil ta 'tagħbija tax-xogħol li jinforma l-veloċità NIC u t-tolleranza ta' abbonament eċċessiv. Taħriġ kbir minn qabel tal-mudelli tal-fruntiera jitlob drappijiet 400G+ li ma jimblukkawx. Il-piżijiet tax-xogħol ta'-rfinar jistgħu jittolleraw abbonament eċċessiv 2:1. Raggruppamenti ta 'inferenza ħafna drabi jeħtieġu bandwidth aktar baxx iżda latency denb aktar baxx.

Pass 2: Agħżel NIC Speed ​​u Għadd għal kull Server

Loġika tad-deċiżjoni:

• Taħriġ minn qabel ta’ mudelli kbar, servers ta’ 8 GPU → 4–8× 400G NICs għal kull server, jew 4× 800G
• Taħriġ ta'-skala medja, servers ta' 8 GPU → 2–4× 400G NICs għal kull server
• Jservu ta' inferenza → 1–2× NICs 200G jew 400G għal kull server, skont il-paralleliżmu tal-mudell

Ivverifika bandwidth PCIe fuq il-host. Port wieħed 400G jeħtieġ PCIe Gen5 x16 biex jaħdem bir-rata tal-linja; l-irduppjar għal 800G jeħtieġ Gen6 jew qsim fuq żewġ slots.

Pass 3: Daqs is-Saff tal-Werqa

Eżempju maħdum - 32-node cluster, 8 GPU għal kull node, 4× 400G NICs għal kull node:

• Total ta' servers-portijiet li jħarsu meħtieġa: 32 × 4=128 portijiet f'400G
• Faxxa tal-frekwenza downlink għal kull nodu: 4 × 400=1.6 Tbps
• Faxxa tal-frekwenza ta' downlink totali tal-cluster: 32 × 1.6=51.2 Tbps

Bl-użu ta 'swiċċ tal-weraq 400G ta' 64 port (kapaċità totali ta '25.6 Tbps), kull werqa tista' tikkonnettja 32 port tas-server u tuża t-32 port li jifdal bħala uplinks. B'4 weraq, inti tkopri l-128 port tas-server. Kull werqa tikkontribwixxi 32 × 400G=12.8 Tbps ta' uplink lejn is-sinsla.

Pass 4: Daqs is-Saff tas-Sinsla

Għal disinn mhux-imblukkat (1:1), il-kapaċità totali ta' uplink għandha tkun ugwali għall-kapaċità totali ta' downlink. Mill-Pass 3:

• Uplink totali tal-weraq meħtieġ: 4 weraq × 12.8 Tbps=51.2 Tbps
• Jekk kull sinsla għandha 32 × 400G ports=12.8 Tbps, għandek bżonn 4 sinsla
• Kull werqa tikkonnettja mal-4 xewk kollha billi tuża 8 uplinks għal kull sinsla (8 × 400G × 4=12.8 Tbps għal kull werqa - logħbiet)

Jekk tuża swiċċijiet tas-sinsla 400G ta '64 port, kull sinsla għandha kapaċità żejda biex tkabbar il-cluster, utli għall-pjan ta' 18-il xahar mill-Pass 1.

Pass 5: Issettja l-Proporzjon ta 'sottoskrizzjoni żejda

Pass 6: Ikkalkula, Ħażna u Ġestjoni separati tat-Traffiku

Tliet għażliet, f'ordni ta' iżolament dejjem jiżdied:

• Drapp kondiviż mal-klassijiet QoS:Ikkalkula, ħażna u ġestjoni fuq prijoritajiet DSCP separati. L-inqas spiża; teħtieġ konfigurazzjoni QoS bir-reqqa.
• VLANs/VRFs separati loġikament:L-istess ħardwer, pjani ta 'kontroll separati. Utli għal clusters b'ħafna-kerrejja.
• Drappijiet separati fiżikament:NICs, swiċċijiet u kejbils dedikati għall-komputazzjoni vs ħażna. L-ogħla spiża; komuni fi raggruppamenti tal-mudell tal-fruntiera- fejn kwalunkwe kontenzjoni hija inaċċettabbli.

It-traffiku tal-ħażna għall-AI huwa nnifsu huwa tqil - checkpoint jikteb għal mudell kbir jista 'jċaqlaq mijiet ta' gigabytes f'fqigħ qosra. Ippjana għaliha b'mod espliċitu. Impjant ta' cabling strutturat ta'-densità għolja bl-użuKejbils trunk MPO/MTPtissimplifika t-tmexxija ta 'drappijiet paralleli fl-istess infrastruttura fiżika.

Pass 7: Ivvalida Qabel il-Produzzjoni

It-testijiet fil--netwerk jaqbdu xi problemi. It-testijiet tal-livell ta'-xogħol jaqbdu l-bqija.

• Faxxa tal-frekwenza:iperf3 jew ib_send_bw bejn kull par ta' nodi; għandha tilħaq 90% + tar-rata tal-linja NIC.
• Latenza:ib_read_lat jew simili; iċċekkja d-distribuzzjoni, mhux biss il-medja. P99.9 huwa importanti aktar milli jfisser.
• Telf ta' pakkett:Mexxi 24-siegħa soak test taħt tagħbija; kwalunkwe telf mhux żero fil-klassi tat-traffiku RoCE huwa problema.
• Imġieba tal-immarkar ECN:Ivverifika li l-marki jidhru qabel in-nirien tal-PFC; jekk il-pawżi PFC huma frekwenti fi stat fiss, erġa' intonizza.
• Komunikazzjoni kollettiva:Mexxi testijiet NCCL (all_reduce_perf, all_gather_perf) fid-daqs sħiħ tal-cluster. Qabbel ma' numri ta' referenza tal-bejjiegħ.
• Test fil-{0}}impjieg:Mexxi xogħol ta' taħriġ rappreżentattiv għal 4–6 sigħat. Ara l-utilizzazzjoni tal-GPU - valuri sostnuti taħt il-50% fuq mudell ta' daqs tajjeb-normalment jindika problema tan-netwerk.

Netwerk tradizzjonali taċ-Ċentru tad-Data vs AI Spine-Tessili tal-Werqa

Ethernet RoCE vs InfiniBand: Gwida ta' Deċiżjoni ta' Mgħaġġla

Il-mistoqsija tqum fi kważi kull proġett ta’ cluster AI. It-tnejn jaħdmu. L-għażla normalment taqa 'għal tajbin operazzjonali, mhux prestazzjoni pura.

• Agħżel InfiniBand jekk:It-tim tiegħek diġà jopera drappijiet InfiniBand, trid l-eħfef triq għal trasport mingħajr telf, jew qed tixtri arkitettura ta' referenza tal-bejjiegħ kompletament-integrata.
• Agħżel Ethernet RoCE jekk:It-tim tal-operat tiegħek huwa Ethernet-indiġenu, trid għażliet ta' swiċċ ta' diversi-bejjiegħa, trid tintegra t-tessut tal-AI ma' netwerks eżistenti taċ-ċentru tad-dejta, jew tantiċipa li tiskala lil hinn minn dak li t-topoloġiji attwali InfiniBand jappoġġjaw b'mod nadif.

Il-Konsorzju Ultra Ethernet, iffurmat fl-2023, qed jaħdem b'mod attiv fuq l-istandardizzazzjoni tat-titjib tal-Ethernet speċifikament għall-piżijiet tax-xogħol tal-AI. Għall-biċċa l-kbira tal-clusters ġodda fl-2026, Ethernet RoCE huwa default difiżibbli sakemm ma jkunx hemm raġuni speċifika biex tagħżel mod ieħor.

Żbalji Komuni li għandhom jiġu evitati

Taġġorna Swiċċijiet Mingħajr Iċċekkjar NICs

Drapp ta 'swiċċ 800G ma jagħmel xejn għalik jekk l-NICs tiegħek jimxu f'400G jew il-PCIe ospitanti tiegħek jispiċċa mingħajr bandwidth. Iddisinja n-naħa ospitanti l-ewwel, imbagħad in-naħa tal-iswiċċ. PCIe Gen5 x16 jillimita port wieħed għal madwar 504 Gbps reali -throughput fid-dinja - komdu għal 400G, marġinali għal 800G.

Ottimizzazzjoni tal-Veloċità tal-Port iżda Injora d-Densità tal-Cableing

F'64-port 400G jitlaq, il-kejbils taħt kull swiċċ jistgħu jsiru fiżikament mhux maniġġabbli mingħajr ippjanar. Uża kejbils tat-tbegħid fejn xieraq, rotta fibri permezz ta 'mogħdijiet strutturati, u standardizza fuq tipi ta' konnettur. Il-kwalità tal-konnettur u t-terminazzjoni jimpurtaw b'veloċitajiet għoljin - tagħnaGwida tat-tipi ta 'konnettur tal-fibra ottikaikopri l-kompromessi bejn LC, MPO u fatturi emerġenti tal-forma ta'-densità għolja.

It-trattament ta' RoCE bħala Plug-u-Play

L-akbar żball ta' disinn f'raggruppamenti reali ta' AI mhuwiex li jintgħażel is-swiċċ ħażin - huwa jissottovaluta kemm hu meħtieġ xogħol ta' konfigurazzjoni RoCE minn tmiem-sa-. Ħin tal-baġit għall-irfinar tal-limiti tal-ECN, il-prijoritajiet tal-PFC u l-konsistenza tal-MTU. Ippjana fażi ta’ validazzjoni ddedikata qabel ma jibda kwalunkwe xogħol ta’ produzzjoni.

Taħlit tat-Traffiku Kollha fuq Tessili Wieħed Mingħajr QoS

Ir-replikazzjoni tal-ħażna, l-aġenti tal-monitoraġġ u t-traffiku tal-ġestjoni jistgħu jwaqqu l-ħinijiet tal-pass tat-taħriġ jekk jaqsmu l-buffers mat-traffiku tal-kompjuter. Jew tifredhom fiżikament jew tinforza klassijiet QoS stretti bi prijoritajiet separati u konfigurazzjoni ECN.

Bini għall-Cluster tal-lum Biss

Il-biċċa l-kbira tal-clusters tal-IA jikbru 4–8× fi żmien sentejn mill-iskjerament inizjali. Agħżel ir-radix tal-iswiċċ u l-kapaċità tas-sinsla li tippermetti espansjoni li ma tfixkilx-. Il-ġbid tal-kejbils f'ċentru tad-dejta tal-AI ħaj huwa għali; l-ippjanar tal-kondjuwit u l-kapaċità tal-garża fil-ħin tal-iskjerament huwa rħis.

Meta Żieda minn 400G għal 800G

NICs u swiċċijiet 800G huma disponibbli iżda jiswew aktar għal kull port. Ikkunsidra li żżid meta:

• Il-ħtiġijiet ta' kull-bandwidth tal-GPU jaqbżu dak li jista' jipprovdi 400G - pereżempju, H100 u GPUs ġodda b'NVLink 5 jistennew bandwidth estern ogħla
• NCCL kollha-naqqas iż-żminijiet skala ħażin bid-daqs tal-cluster, li jindika s-saturazzjoni tan-netwerk
• Id-densità tal-kejbil f'400G qed issir fiżikament mhux maniġġabbli - inqas portijiet 800G jistgħu jissostitwixxu aktar portijiet 400G
• Il-ġenerazzjoni tal-GPU li jmiss fil-pjan direzzjonali tiegħek hija mistennija li teħtieġha fit-tieqa tad-deprezzament tal-cluster
• Int qed tibni raggruppament ta' taħriġ tal-fruntiera-mudell fejn kwalunkwe ħin inattiv tal-ikkalkular jiswa ferm aktar mill-upgrade tal-ottika

Għall-biċċa l-kbira tar-raggruppamenti ta' produzzjoni fl-2026, 400G jibqa' l-bilanċ it-tajjeb tal-kost, il-maturità tal-ekosistema, u l-kapaċità. 800G jagħmel sens fil-livell għoli u bħala investiment bil-quddiem għal raggruppamenti li qed jinbnew illum u mistennija li jaħdmu għal 4–5 snin.

Konklużjoni

L-aktar netwerk ta 'clusters AI b'saħħtu mhuwiex dak bl-aktar swiċċijiet mgħaġġla. Hija dik fejn l-għażla NIC, id-daqs tal-weraq/spina, is-sottoskrizzjoni żejda, il-konfigurazzjoni RoCE, is-separazzjoni tat-traffiku u l-kejbils fiżiċi kollha jappoġġjaw lil xulxin u l-ammont ta’ xogħol li ntgħażlu għalih.

Ibda mill-ammont ta' xogħol u l-pjan ta' tkabbir ta' 18-xahar. Ikkalkula l-ħtiġijiet tal-bandwidth f'kull saff billi tuża numri reali, mhux biss regoli ġenerali. Ikkonfigura RoCE end-biex-u vvalida b'benchmarks reali ta' komunikazzjoni kollettiva. Baġit għall-impjant tal-kejbils - f'400G u 800G, is-saff fiżiku m'għadux trivjali.

Il-cluster li jżomm il-GPUs tiegħu okkupati b'użu ta '95% + permezz ta' kull pass ta 'taħriġ huwa dak li ta attenzjoni għal dawn is-saffi kollha. Il-cluster li jintbagħat bi swiċċ aktar mgħaġġel u drapp aktar bil-mod se jqatta 'snin jispjega għaliex il-GPUs huma inattivi.

Aktar Qari

• RFC 7938 - BGP f'Ċentri ta' Data-Skala Kbira
• InfiniBand Trade Association - speċifikazzjonijiet RoCE
• Dokumentazzjoni tan-Netwerking NVIDIA
• Gwida għall-Installazzjoni tal-Kejbil tal-Fiber Optic
• Telf ta 'Inserzjoni vs Telf ta' Ritorn Spjegat