Konsumsi Daya Modul Optik dan Kepadatan Bandwidth: Batasan Keras dalam Interkoneksi Pusat Data AI

Jaringan pusat data AI tidak lagi dibatasi hanya oleh kecepatan transmisi maksimum modul optik. Pertanyaan yang lebih sulit adalah apakah sistem dapat memberi daya, mendinginkan, mengemas, dan memelihara tautan optik yang cukup untuk mendukung skala komputasi yang diperlukan.

Ketika kapasitas switch melampaui 51,2 Tb/s dan antarmuka optik berkembang dari 400G dan 800G menuju 1,6T dan kecepatan yang lebih tinggi, ada dua variabel yang semakin menentukan apakah arsitektur dapat berkembang:

• Konsumsi daya modul optik

• Kepadatan bandwidth modul optik

Variabel-variabel ini berhubungan erat. Bandwidth per port yang lebih tinggi biasanya meningkatkan kehilangan listrik, kompleksitas pemrosesan sinyal, pembangkitan panas, dan kebutuhan pendinginan. Menambahkan lebih banyak port ke panel depan yang sama akan memusatkan panas ke ruang yang lebih kecil.

Batasan yang dihasilkan tidak hanya melibatkan modul optik, tetapi juga sakelar ASIC, SerDes, PCB, pengiriman daya, sistem pendingin, perutean serat, dan model pemeliharaan.

Berapa Batasan Daya dan Kepadatan Bandwidth Modul Optik?

Konsumsi daya modul optik membatasi berapa banyak kapasitas listrik dan termal yang tersisa untuk komputasi, sementara kepadatan bandwidth menggambarkan berapa banyak kapasitas data yang dapat dipasang dalam area panel, paket, atau rak tetap tanpa melebihi batas listrik, termal, mekanik, dan keandalan.

Tidak ada metrik yang harus dievaluasi secara independen. Modul bandwidth tinggi dengan daya berlebihan dapat mengurangi kapasitas komputasi yang tersedia di rak yang sama. Modul yang lebih kecil dapat meningkatkan kepadatan fisik sekaligus menciptakan fluks panas yang tidak dapat dihilangkan oleh sasis.

Konsumsi Daya sebagai Kendala Sistem

Rak memiliki daya dan anggaran pendinginan yang terbatas. Daya yang digunakan oleh tautan optik tidak tersedia untuk GPU, memori, silikon sakelar, penyimpanan, dan peralatan pendingin pendukung.

Pada jumlah port yang kecil, beberapa watt tambahan per modul mungkin tampak dapat dikelola. Namun, di ratusan pelabuhan dan puluhan ribu jalur penghubung, perbedaannya menjadi variabel infrastruktur utama.

Perbandingan lengkap mungkin perlu mencakup:

• Kedua ujung tautan optik

• Tuan rumah SerDes dan pengaturan waktu ulang

• DSP dan FEC

• Tenaga sumber laser

• Kerugian konversi daya

• Pendinginan di atas kepala

Nilai watt per port yang dipublikasikan tidak dapat dibandingkan secara langsung kecuali jika menggunakan batas sistem yang sama.

Kepadatan Bandwidth sebagai Kendala Termal

Kepadatan bandwidth dapat mengacu pada bandwidth per modul, bukaan panel depan, unit rak, sakelar, atau watt. Pengukuran ini saling berkaitan namun tidak dapat dipertukarkan.

Menggandakan bandwidth modul tidak secara otomatis menggandakan kepadatan switch yang dapat digunakan. Sistem harus tetap menyediakan daya yang cukup, menjaga integritas sinyal, menghilangkan panas, dan memberikan ruang untuk konektor, serat, sangkar, dan akses layanan.

Pada tingkat daya yang lebih tinggi, kepadatan bandwidth menjadi semakin bergantung pada pembuangan panas dibandingkan dimensi panel saja.

Mengapa Penskalaan Kecepatan Jalur Tunggal Kehilangan Efisiensi

Rute konvensional menuju bandwidth optik yang lebih tinggi sangat bergantung pada jalur listrik dan optik yang lebih cepat:

25G → 50G → 100G → 200G PAM4

Jalur ini tetap penting, namun setiap transisi memerlukan pemancar, penerima, pemerataan, pengkodean, dan kontrol integritas sinyal yang lebih menuntut. Kekuatan dan kompleksitas tidak selalu sebanding dengan hasil yang berguna.

Mengapa Tarif Jalur Tinggi Meningkatkan Kekuatan dan Kompleksitas

Kesenjangan Penskalaan Komputasi dan I/O

Analisis berdasarkanBasis data model AI zamanmemperkirakan bahwa komputasi yang digunakan untuk melatih model AI frontier tumbuh sekitar empat hingga lima kali lipat per tahun antara tahun 2010 dan 2024.

Tarif ini berlaku untuk pelatihan frontier dan bukan semua beban kerja AI. Namun hal ini menggambarkan betapa cepatnya permintaan komunikasi dapat tumbuh di sekitar cluster akselerator yang besar.

Bandwidth I/O tidak mengikuti satu jadwal penggandaan universal. Perkembangannya bergantung pada peta jalan SerDes, silikon sakelar, antarmuka optik, pengemasan, penyaluran daya, dan pendinginan.

Tantangan praktisnya adalah memperluas kapasitas komunikasi dengan cukup cepat untuk mencegah interkoneksi membatasi sistem komputasi.

Sensitivitas Penerima, DSP, dan Penalti FEC

PAM4 membawa dua bit per simbol dengan menggunakan empat tingkat amplitudo, namun pemisahan yang lebih kecil antara tingkat tersebut mengurangi margin kebisingan dibandingkan dengan NRZ.

SebuahKontribusi teknis IEEE 802.3menghitung penalti modulasi SNR optik ideal sekitar 4,8 dB untuk PAM4 relatif terhadap NRZ. Hukuman tambahan bergantung pada bandwidth sinyal dan kondisi implementasi.

Hal ini tidak berarti sensitivitas penerima menurun sebanyak satu kali setiap kali laju jalur berlipat ganda. Performa sebenarnya bergantung pada baud rate, bandwidth penerima, kehilangan saluran, pemerataan, noise, FEC, dan margin implementasi.

DSP dan FEC dapat memulihkan kualitas sinyal dan memperpanjang margin pengoperasian, namun keduanya juga mengonsumsi daya dan menimbulkan penundaan. Oleh karena itu, manfaat peningkatan kecepatan jalur tunggal berkurang seiring dengan semakin diperlukannya kompensasi listrik dan digital.

Bagaimana Daya Modul Optik Membatasi Desain Sakelar

Pengaruh daya modul menjadi lebih jelas ketika digabungkan di seluruh saklar lengkap.

Contoh Anggaran Daya 51,2T

Pertimbangkan saklar ilustratif 51,2 Tb/s yang diisi dengan modul optik 128 × 400G FR4:

Dalam perhitungan ini, modul optik menyumbang sekitar 58,7% dari gabungan daya modul optik dan saklar-ASIC.

Persentase ini tidak mewakili total daya masukan sakelar, karena kipas, regulator, elektronik kontrol, dan rugi-rugi konversi tidak termasuk. Meski begitu, hal ini menunjukkan bahwa antarmuka optik dapat mengonsumsi daya pada skala yang sama dengan silikon switching.

51.2T Beralih Anggaran Daya Optik

Kekuatan Jaringan dan Kepadatan Komputasi

Berdasarkan anggaran daya tetap, daya jaringan yang lebih rendah dapat melepaskan lebih banyak kapasitas listrik dan termal untuk komputasi.

Pada tahun 2025pengumuman peralihan fotonik, NVIDIA melaporkan efisiensi daya 3,5 kali lebih besar untuk arsitektur yang diumumkan dibandingkan dengan dasar implementasi tradisional yang dinyatakan.

Hal ini merupakan hasil yang bersifat spesifik platform dan bukan merupakan faktor efisiensi CPO yang bersifat universal. Efek sebenarnya pada kepadatan GPU juga bergantung pada jumlah port, topologi, daya akselerator, kapasitas pendinginan, dan desain rak.

Tiga Efek Sistem dari Kekuatan Optik Tinggi

Tiga Efek Sistem Daya Modul Optik

Daya dan Kepadatan Komputasi

Watt yang dikonsumsi oleh jaringan tidak dapat dialokasikan ke tempat lain dalam lingkup rak yang sama.

Daya jaringan yang lebih tinggi dapat menyebabkan lebih sedikit akselerator per rak, lebih banyak rak untuk beban kerja yang sama, sakelar tambahan, dan kebutuhan pendinginan fasilitas yang lebih besar.

Oleh karena itu, daya modul optik merupakan variabel arsitektur, bukan hanya spesifikasi komponen.

Batas Daya dan Pendinginan

Saat modul pluggable melampaui 800G, lebih banyak panas harus dihilangkan dari setiap posisi panel depan.

ItuMakalah teknis OSFP MSAmenyatakan bahwa faktor bentuk OSFP1600 memberikan kemampuan termal lebih dari 30 W untuk optik pusat data 1600G. Ini adalah referensi amplop termal, bukan peringkat daya universal untuk setiap modul.

Daya sebenarnya bergantung pada jangkauan, penerapan DSP, jumlah panjang gelombang, pengaturan laser, antarmuka host, dan suhu pengoperasian.

Pada fluks panas yang cukup tinggi, peningkatan aliran udara menjadi kurang efektif. Pendinginan cair memperpendek jalur termal dengan memindahkan panas ke pelat dingin di dekat komponen berdaya tinggi.

bimbingan ASHRAEmendokumentasikan pendinginan air hangat langsung dalam kisaran 40–45°C di lingkungan komputasi berkinerja tinggi. Hal ini tidak menentukan suhu cairan pendingin yang diperlukan untuk setiap modul optik, namun hal ini menegaskan bahwa pendinginan air hangat merupakan pendekatan pusat data yang sudah mapan.

Daya, Suhu, dan Keandalan

Dalam struktur AI yang besar, bahkan kemungkinan kegagalan tingkat komponen yang rendah pun dapat menimbulkan beban operasional yang signifikan.

Suhu pengoperasian yang lebih rendah dapat memperlambat banyak mekanisme degradasi, namun hubungan antara suhu dan masa pakai bergantung pada perangkat dan mode kegagalan.

Panduan keandalan NISTmenjelaskan bahwa mode kegagalan yang berbeda mungkin memerlukan model akselerasi yang berbeda.

Oleh karena itu, analisis keandalan yang dapat dipertahankan harus mengidentifikasi mekanisme kegagalan yang relevan, menentukan tekanan operasi, dan memvalidasi model dengan data. Temperatur yang lebih rendah umumnya bermanfaat, namun tidak menghasilkan satu pengganda seumur hidup yang universal.

Mengapa Panel Depan Menjadi Hambatan Bandwidth

Jaringan AI memerlukan peralihan radix tinggi dan kelebihan permintaan rendah. Jika bandwidth yang tersedia tidak mencukupi untuk satu switch, tahapan Spine atau Super-Spine tambahan mungkin diperlukan.

Tahapan tambahan dapat meningkat:

• Latensi

• Jumlah saklar dan tautan optik

• Konsumsi daya

• Kompleksitas kabel

• Poin kegagalan

• Biaya

Kepadatan OSFP dan Ekspansi Jaringan

ItuDesain referensi OSFP MSAmenghadirkan sakelar 1RU dengan 32 port OSFP1600 yang mendukung throughput agregat 51,2 Tb/s.

Ini adalah konfigurasi referensi dan bukan batas fisik universal. Namun hal ini menunjukkan bagaimana faktor bentuk bandwidth dapat mempengaruhi jumlah switch dan topologi jaringan.

Meningkatkan bandwidth modul dapat mengurangi jumlah port fisik yang diperlukan, namun hanya jika daya, pendinginan, perutean listrik, dan manajemen serat tetap praktis.

Kepadatan Bandwidth Pada Akhirnya Merupakan Masalah Termal

Sebuah modul dapat dibuat lebih kecil, namun dayanya mungkin tidak berkurang dengan kecepatan yang sama. Hasilnya adalah fluks panas yang lebih besar di dalam panel depan.

Oleh karena itu, kepadatan yang dapat digunakan dipengaruhi oleh:

• Performa sangkar dan unit pendingin

• Pengiriman daya PCB

• Perutean listrik tuan rumah

• Konektor dan kepadatan serat

• Kapasitas sistem pendingin

• Suhu komponen maksimum

Pada bandwidth tinggi, kepadatan praktis suatu faktor bentuk ditentukan oleh seberapa banyak panas yang dapat dihilangkan oleh seluruh sistem.

Kepadatan Panel Depan dan Arsitektur Termal XPO

XPO: Kepadatan Lebih Tinggi dengan Pendingin Cairan Tertanam

XPO adalah singkatan dariOptik Pluggable yang sangat padat.

Pada bulan Maret 2026,Arista mengumumkan perjanjian multi-sumber XPO. Arsitektur yang diumumkan menggunakan 64 saluran dengan kecepatan 200 Gb/s per saluran, menyediakan 12,8 Tb/s per modul dan menargetkan bandwidth panel depan 204,8 Tb/s per unit rak komputasi terbuka.

Konsep ini menggunakan struktur dual-PCB Belly-to-Belly:

• Komponen berkekuatan tinggi menghadap ke dalam menuju struktur pendingin cair.

• Komponen berdaya rendah menghadap ke luar.

• Pendinginan diintegrasikan ke dalam arsitektur modul.

• Rakitan optik tetap dapat dilepas.

Nilai 204,8 Tb/s mewakili kapasitas bandwidth panel depan, bukan 128 modul fisik dalam satu unit rak.

Argumen desain utama XPO adalah kemudahan servis. Ia mencoba untuk mempertahankan model modul yang dapat diganti sambil meningkatkan paralelisme dan meningkatkan jalur termal.

Optik Pluggable Tradisional, LPO, CPO, dan XPO

Pluggable Tradisional vs LPO vs CPO vs XPO

Optik Tradisional yang Dapat Dicolokkan

Modul pluggable tradisional terhubung ke saklar ASIC melalui jalur listrik berkecepatan tinggi.

Mereka menawarkan penggantian hot-swap, isolasi kegagalan yang jelas, kualifikasi modul independen, dan pasokan multi-vendor yang matang.

Kelemahan utama mereka adalah jalur listrik. Pada laju jalur yang lebih tinggi, kehilangan PCB dan konektor memerlukan lebih banyak pemerataan dan pemrosesan sinyal, sementara panas masih harus dibuang melalui struktur panel depan yang terbatas.

PUT

Optik Linear yang Dapat Dicolokkanmenghapus modul DSP konvensional dan mempertahankan jalur analog antara host dan modul.

ItuSpesifikasi PUT MSAmenetapkan fungsi seperti FEC, pengaturan waktu ulang, dan konversi data ke host dan menentukan titik pengujian yang dimaksudkan untuk mendukung interoperabilitas.

Menghapus DSP sisi modul dapat mengurangi daya modul dan penundaan pemrosesan, namun hal ini memberikan tuntutan yang lebih besar pada kualitas SerDes host, kehilangan saluran, linearitas pemancar, kebisingan penerima, dan margin tautan.

PUT tidak memiliki satu kekuatan universal, latensi, atau nilai jangkauan. Ini bergantung pada host lengkap dan tautan optik.

minyak sawit mentah

Optik yang Dikemas Bersamamenempatkan mesin optik dekat dengan sakelar ASIC, mengurangi panjang dan hilangnya sambungan listrik berkecepatan tertinggi.

Hal ini dapat mengurangi pemerataan, pengaturan waktu ulang, dan daya I/O listrik, namun menimbulkan tantangan dalam pengemasan, pemasangan serat, desain termal, isolasi kegagalan, dan perbaikan lapangan.

Pada tahun 2023,Forum Internetworking Optik menerbitkan Perjanjian Implementasi Modul Paket Bersama 3.2T. Ini mendefinisikan modul 3,2 Tb/s untuk peralihan Ethernet dan menyediakan sekitar 140 Gb/s per milimeter kepadatan bandwidth tepi paket.

Pada Mei 2026, NVIDIA menyatakan bahwa sakelar Spectrum-X Ethernet Photonics sedang dalam produksi. Hal ini merupakan tonggak sejarah komersial yang penting, meskipun hal ini tidak menunjukkan adopsi CPO di industri secara luas.

XPO

XPO mempertahankan modul yang dapat dilepas sambil menggunakan paralelisme yang lebih besar dan pendingin cair terintegrasi.

Ia menawarkan keseimbangan yang berbeda dari CPO:

• Kepadatan lebih tinggi dibandingkan pluggable konvensional

• Pendinginan cairan langsung

• Penggantian lapangan

• Mengurangi ketergantungan pada integrasi optik tingkat paket

Tantangan yang tersisa meliputi desain antarmuka kelistrikan, integrasi pelat dingin, manajemen serat, kualifikasi produksi, dan interoperabilitas multi-vendor.

Perbandingan CPO CWDM dan DWDM

Arsitektur panjang gelombang mempengaruhi desain laser, jumlah serat, pengemasan, kehilangan optik, dan kompleksitas integrasi.

Implementasi CWDM dan DWDM tidak dapat dibandingkan menggunakan latensi terisolasi atau nilai energi per bit kecuali batas pengukuran yang sama digunakan.

Nilai latensi dapat mencakup atau mengecualikan:

• DSP dan FEC

• Waktu pensiun

• Penyangga

• Antarmuka tuan rumah

• Beralih pemrosesan

• Salah satu atau kedua ujung tautan

Energi per bit dihitung sebagai:

Energi per bit = Daya Mbps Kecepatan bit yang dikirimkan

Namun, perhitungannya harus menentukan apakah itu mencakup modul, host SerDes, laser, DSP, FEC, antarmuka sakelar, dan pendinginan.

DWDM dapat menempatkan lebih banyak panjang gelombang pada satu serat, sehingga berpotensi meningkatkan kepadatan dan mengurangi jumlah serat. Hal ini juga memerlukan kontrol panjang gelombang yang lebih ketat, keluaran laser yang stabil, dan integrasi optik yang lebih kompleks.

Sumber multi-panjang gelombang chip tunggal sedang memasuki program evaluasi, tetapi nilai produksinya bergantung pada daya keluaran, stabilitas panjang gelombang, efisiensi, hasil, dan masa pakai.

DWDM tidak menjamin daya atau latensi yang lebih rendah di setiap sistem CPO. Hasilnya tergantung pada arsitektur lengkapnya.

Interkoneksi Peningkatan vs Peningkatan Skala

Interkoneksi Optik Scale-Up vs Scale-Out

Peningkatan Skala

Jaringan Scale-Up menghubungkan akselerator yang harus beroperasi sebagai satu sistem yang terkoordinasi dengan erat.

Tembaga tetap menarik untuk jarak dekat karena biayanya rendah dan mudah digunakan secara elektrik. Jangkauan penggunaannya menjadi lebih terbatas seiring dengan meningkatnya kecepatan sinyal dan hilangnya saluran.

Penelitian sistem yang dipublikasikan telah menggambarkan hubungan tembaga berkecepatan tinggi saat ini terbatas pada jarak intra-rak yang pendek di lingkungan pusat data yang diteliti.

Jangkauan tembaga pada 400G bergantung pada implementasi. Ini bervariasi menurut desain kabel, jumlah konektor, pemerataan, anggaran kerugian penyisipan, dan daya yang tersedia.

I/O optik dan CPO menjadi lebih menarik ketika tembaga tidak lagi dapat menyediakan kombinasi bandwidth, kepadatan perutean, jarak, dan efisiensi yang diperlukan.

Skala-Out

Jaringan Scale-Out menghubungkan server dan rak melalui switch.

Mereka memerlukan jangkauan yang lebih panjang, radix saklar yang tinggi, jumlah port yang besar, dan penggantian lapangan yang praktis.

Pluggable tradisional, LPO, CPO, dan XPO mengatasi berbagai bagian dari masalah ini:

• PUT mengurangi pemrosesan sisi modul.

• CPO memperpendek jalur listrik.

• XPO meningkatkan kepadatan pluggable dan kapasitas pendinginan.

Transisi ini harus dipahami melalui standar spesifik dan pencapaian produk, bukan berdasarkan tanggal adopsi yang universal.

Kerangka Seleksi Teknik

Pemilihan arsitektur harus dimulai dengan persyaratan sistem, bukan nilai daya modul terendah yang dipublikasikan.

Pertanyaan kuncinya meliputi:

• Jangkauan apa yang diperlukan?

• Berapa batas daya atau energi per bit yang berlaku?

• Apakah penggantian lapangan wajib?

• Sistem pendingin apa yang tersedia?

• Batas latensi apa yang diukur?

• Apakah interoperabilitas multi-vendor diperlukan?

Bandingkan Energi per Bit dengan Hati-hati

Modul dengan daya lebih tinggi mungkin masih memiliki energi per bit yang lebih rendah jika modul tersebut menyediakan lebih banyak bandwidth yang dapat digunakan.

Setiap perbandingan harus menentukan kecepatan bit, arah, jumlah ujung tautan, batas DSP/FEC, daya laser, pemrosesan host, dan overhead pendinginan.

Evaluasi Jangkauan dan Margin Tautan

Arsitektur berdaya rendah dapat beroperasi dengan margin saluran yang lebih ketat.

Pemilihan harus mempertimbangkan jarak transmisi, link budget end-to-end, kualitas saluran listrik host, suhu pengoperasian, variasi komponen, dan kondisi penuaan.

Evaluasi Pendinginan dan Pemeliharaan

Daya nominal suatu modul tidak membuktikan bahwa setiap sasis dapat mendinginkannya.

Sistem juga harus menentukan unit yang dapat diganti. Pluggable tradisional menyediakan penggantian modul yang sederhana, sementara integrasi yang lebih besar dapat memindahkan batas perbaikan ke kartu saluran, paket, atau rakitan sakelar.

Evaluasi Kematangan Ekosistem

Kinerja teknis dan kematangan ekosistem adalah pertanyaan yang berbeda.

Arsitektur baru mungkin menunjukkan hasil yang kuat sebelum memiliki spesifikasi yang stabil, banyak pemasok, metode pengujian umum, interoperabilitas yang terbukti, atau prosedur perbaikan yang ditetapkan.

Apa Arti Kendala Kepadatan Daya bagi Infrastruktur AI

Pertumbuhan bandwidth di masa depan tidak bisa hanya mengandalkan peningkatan kecepatan satu saluran.

Ini memerlukan kombinasi dari:

• Saluran paralel

• Multipleksing panjang gelombang

• Jalur listrik lebih pendek

• Kemasan lebih efisien

• Bahan dengan kerugian lebih rendah

• Desain termal yang ditingkatkan

Ketika fluks panas meningkat, heat sink eksternal yang lebih besar menghasilkan keuntungan yang semakin berkurang. Pendinginan harus mendekati sumber panas dan menjadi bagian dari arsitektur optik.

Keandalan juga harus diatasi melalui suhu pengoperasian yang sesuai, kualifikasi spesifik mode kegagalan, batasan sistem yang dapat diperbaiki, dan redundansi tingkat jaringan.

Modul optik, saklar ASIC, paket, PCB, sistem pendingin, dan topologi jaringan harus semakin dirancang sebagai satu sistem.

Pertanyaan yang Sering Diajukan

Mengapa modul optik mengkonsumsi begitu banyak daya?

Modul berkecepatan tinggi memerlukan driver laser, penerima, pemerataan, dan seringkali DSP dan FEC. Daya juga meningkat seiring hilangnya saluran listrik dan peningkatan kecepatan jalur.

Apa yang membatasi kepadatan bandwidth modul optik?

Batasan utamanya adalah ruang panel depan, penyaluran daya, perutean listrik, manajemen serat, dan kapasitas pendinginan.

Apa perbedaan PUT, CPO, dan XPO?

LPO menghilangkan modul DSP, CPO menempatkan optik dekat dengan ASIC, dan XPO menggabungkan modul yang dapat dilepas dengan paralelisme tinggi dan pendingin cair.

Apakah CPO selalu menggunakan daya yang lebih kecil?

Tidak selalu. Hasilnya bergantung pada laser, antarmuka host, batas DSP/FEC, pendinginan, dan bagian sistem mana yang disertakan.

Mengapa suhu mempengaruhi keandalan?

Banyak mekanisme degradasi yang dipercepat pada suhu yang lebih tinggi, namun hubungan pastinya bergantung pada perangkat dan mode kegagalan.

Arsitektur mana yang lebih baik untuk Scale-Up dan Scale-Out?

Scale-Up mendukung solusi jangka pendek dan latensi rendah seperti tembaga, I/O optik, dan CPO. Scale-Out lebih menekankan pada jangkauan, kepadatan saklar, dan kemudahan servis.