Proxmox : Praktikum Membangun Bridge dan Bond (Uji Failover dan Audit Jalur Host)

🎯 Tujuan

Artikel ini adalah lanjutan langsung dari konsep bridge dan bond yang terbit pagi ini. Kalau di sana kamu melihat bukti bahwa keduanya alat berbeda, sekarang kamu yang membangun jalurnya dari nol dan mengukurnya sendiri.

Setelah selesai, kamu bisa:

  • membangun bond dua kabel lalu menjadikannya port bridge dalam urutan yang benar;
  • mengukur jendela gagal saat satu kabel putus, bukan hanya bilang "masih ping";
  • membuktikan MTU tidak cocok sebagai penyebab "kecil jalan, besar mati";
  • memakai skrip audit yang membedakan bersih, temuan, dan lingkungan salah;
  • melakukan rollback berurutan sampai host kembali seperti sebelum lab.

πŸ“ Konteks nyata

Sebuah SMK punya server Proxmox dengan dua kartu jaringan ke switch core. Vendor memasang bond active-backup, lalu mematikan miimon karena "log-nya berisik setiap kabel goyang". Enam bulan kemudian kabel pertama putus.

Mesin tidak mati, dashboard tetap hijau, semua VM berstatus running. Tapi unggahan berkas ujian berhenti di 60 persen dan aplikasi nilai menampilkan "koneksi terputus". Tidak ada satu pun alarm, karena dari sisi host tidak ada yang dianggap gagal.

πŸ”₯ Kasus nyata: di lab yang sama, bond tanpa miimon menghasilkan 72,5% paket hilang (55 dari 200 paket sampai) sementara MII Status kedua slave tetap tertulis up. Itulah bahayanya: alat ukur yang berbohong lebih berbahaya daripada alat yang mati.

Analogi yang dipakai di artikel pagi tetap berlaku: bond itu dua pipa paralel dengan katup otomatis, bridge itu meja distribusi yang membagikan paket ke kamar tamu. Kalau pipanya tidak pernah diperiksa, katupnya tidak pernah menutup.

🧠 Konsep singkat

Jalur di host selalu dibangun satu arah, dari bawah ke atas:

  • Kartu fisik menyediakan kabel dan carrier.
  • Bond menyatukan beberapa kabel menjadi satu identitas, dengan mode yang menentukan cara kerja sama.
  • Bridge menerima satu jalur itu lalu membagikannya ke tamu (VM/CT) sebagai port.
  • Tamu hanya melihat satu kabel virtual, tidak tahu ada berapa kabel di bawahnya.
Lapisan Pertanyaan yang dijawab Alat periksa
bond berapa kabel, dan apa yang terjadi kalau satu putus? /proc/net/bonding
bridge port mana yang meneruskan, dan ke mana MAC dituju? bridge link, bridge fdb
tamu apakah paket benar-benar sampai? ping -D, tcpdump

Urutan ini bukan gaya penulisan. Menaruh bridge di bawah bond, atau memasukkan slave bond langsung ke bridge, membuat lapisan di atasnya kehilangan informasi tentang jalur cadangan.

Di host nyata yang dipakai lab ini, vmbr0 dibangun persis dengan pola itu: enp87s0 sebagai satu-satunya port fisik, bridge-stp off, bridge-fd 0, MTU 1500, dan MAC bridge sama dengan MAC port fisiknya (38:f7:cd:cb:96:05).

🧩 Istilah penting

  • slave β€” kabel yang menjadi anggota bond. Satu bond punya dua atau lebih slave.
  • active-backup β€” mode bond yang memakai satu slave dan menyimpan sisanya sebagai cadangan.
  • miimon β€” interval (milidetik) pemeriksaan carrier. Nilai 0 berarti tidak ada pemeriksaan sama sekali.
  • LACP (802.3ad) β€” mode bond yang butuh persetujuan switch; tanpa LACP di sisi switch, tidak ada agregasi.
  • carrier β€” status ada/tidaknya sinyal listrik di kabel. Dibaca dari /sys/class/net/<if>/carrier.
  • FDB β€” tabel MAC address di bridge; menunjukkan port mana yang memegang MAC mana.
  • forwarding / disabled β€” status port bridge. Port yang tidak meneruskan paket akan tampil disabled.
  • MTU β€” ukuran payload terbesar yang boleh lewat. Semua titik di satu jalur harus sama.
  • veth β€” kabel virtual berpasangan; dipakai lab ini agar tidak menyentuh NIC produksi.
  • network namespace β€” ruang jaringan terpisah di kernel; dipakai sebagai "switch" dan "tamu" tiruan.
  • operstate β€” status operasional interface (up/down) yang dibaca kernel, bukan status admin.
  • bonding_masters β€” berkas di /sys/class/net yang muncul saat modul bonding dimuat. Bukan bond.

πŸ”§ Praktik: membangun jalur dari nol

Tiga aturan sebelum mulai:

  1. Kerjakan di network namespace, bukan di NIC produksi. Lab ini nol risiko ke vmbr0 dan delapan tamu yang sedang jalan.
  2. Simpan potret konfigurasi lebih dulu. Tanpa pembanding, kamu tidak bisa membuktikan rollback berhasil.
  3. Satu perintah, satu pemeriksaan. Jangan menumpuk lima perubahan lalu menebak mana yang salah.

πŸ”Ή Langkah 1: potret dulu, baru sentuh

hostname; pveversion | head -1; uname -r
ip -o link show | wc -l
ip netns list
cp /etc/network/interfaces /root/interfaces.sebelum-lab
qm list; pct list

πŸ“Š Angka penting: potret awal lab ini 24 link, 0 namespace, dan 0 perangkat bond. Angka yang sama harus muncul lagi di akhir.

πŸ”Ή Langkah 2: bangun saklar tiruan

Satu namespace berperan sebagai switch dengan dua port, supaya dua kabel bond benar-benar berada di satu L2 domain.

ip netns add bbsw
ip link add sw1 type veth peer name sl1
ip link add sw2 type veth peer name sl2
ip link set sw1 netns bbsw
ip link set sw2 netns bbsw

ip -n bbsw link add swbr type bridge
ip -n bbsw link set sw1 master swbr
ip -n bbsw link set sw2 master swbr
ip -n bbsw addr add 10.99.0.1/24 dev swbr
for i in sw1 sw2 swbr lo; do ip -n bbsw link set $i up; done

Kalau kamu memakai dua switch fisik, sambungkan keduanya dengan kabel antar-switch. Bond tidak bisa bekerja di dua L2 domain berbeda.

πŸ”Ή Langkah 3: bond dari dua kabel

ip link add bond0 type bond mode active-backup miimon 100
ip link set sl1 master bond0
ip link set sl2 master bond0
ip link set bond0 up
ip link set sl1 up; ip link set sl2 up
sleep 1
cat /proc/net/bonding/bond0

πŸ’‘ Tips: miimon 100 berarti carrier diperiksa tiap 100 ms. Kalau kamu memakai mode active-backup tanpa miimon dan tanpa arp_interval, tidak ada mekanisme yang memindahkan trafik saat kabel putus.

πŸ”Ή Langkah 4: bond menjadi port bridge

Bond sudah menjadi satu jalur. Sekarang jalur itu dipasang ke bridge, dan bridge diberi satu port untuk tamu.

ip link add labbr0 type bridge
ip link set bond0 master labbr0
ip link set labbr0 up

ip link add gpl type veth peer name gpg
ip link set gpg netns bbguest
ip link set gpl master labbr0
ip link set gpl up
ip -n bbguest link set lo up
ip -n bbguest link set gpg up
ip -n bbguest addr add 10.99.0.10/24 dev gpg

⚠️ Hati-hati: bridge yang tidak di-up membuat semua port berstatus disabled. Di lab ini gejalanya 100% paket hilang, padahal bond0 tetap LOWER_UP dan /proc/net/bonding tetap sehat.

πŸ”Ή Langkah 5: bukti dasar dari sisi tamu

ip netns exec bbguest ping -c 10 -i 0.2 -W 1 10.99.0.1
bridge link show dev labbr0
bridge fdb show br labbr0 | grep -v permanent

Hasil lab: 10 dari 10 paket sampai, rata-rata 0,033 ms. FDB menampilkan dua entri dinamis, MAC bond di port bond0 dan MAC tamu di port gpl.

Yang diperiksa Nilai di lab Artinya
MAC bond0 1a:c7:ae:a2:a4:7a satu identitas untuk dua kabel
FDB port bond0 ba:96:2d:bd:e4:4b bridge mengenali jalur lewat bond
FDB port gpl e2:1a:a4:d8:df:60 tamu belajar lewat satu port

πŸ”Ή Langkah 6: ukur failover, jangan hanya "kelihatan jalan"

Ping biasa setiap detik jarang menangkap jeda 50 ms. Pakai timestamp per paket dan interval rapat.

ip link set sl1 up; sleep 2
echo sl1 > /sys/class/net/bond0/bonding/active_slave

ip netns exec bbguest ping -D -c 300 -i 0.01 -W 1 10.99.0.1 > /tmp/ping_failover.txt &
sleep 0.6
ip link set sl1 down
wait

grep 'packets transmitted' /tmp/ping_failover.txt
awk '/bytes from/ {if (match($0,/^\[[0-9.]+\]/)) {t=substr($0,2,RLENGTH-2)+0; if (prev>0 && t-prev>max) max=t-prev; prev=t}} END {printf "celah %.0f ms\n", max*1000}' /tmp/ping_failover.txt

Tiga putaran di lab ini:

Putaran Sampai Hilang Celah terbesar
1 297/300 1% 44 ms
2 297/300 1% 45 ms
3 295/300 1,67% 66 ms

πŸ“Š Angka penting: dengan interval 10 ms, celah 44–66 ms berarti 4–7 paket hilang beruntun. Pada ping 100 ms yang longgar, putaran lain bahkan tercatat 0% karena jeda jatuh di antara dua paket.

Currently Active Slave berpindah dari sl1 ke sl2 di ketiga putaran. Kabel tidak kembali sendiri setelah sl1 di-up β€” active-backup mempertahankan slave yang sedang aktif. Itu perilaku normal, bukan kerusakan.

πŸ”Ή Langkah 7: MTU yang tidak sama

Uji ini yang paling sering menyita waktu di lapangan: login jalan, ping kecil jalan, tetapi unggahan besar dan replikasi database mati.

ip link set bond0 mtu 9000
ip link set labbr0 mtu 9000
ip link set gpl mtu 9000
ip -n bbguest link set gpg mtu 9000

ip netns exec bbguest ping -c 4 -W 1 10.99.0.1
ip netns exec bbguest ping -c 4 -s 8972 -W 1 10.99.0.1

ip link set bond0 mtu 1500; ip link set labbr0 mtu 1500
ip link set gpl mtu 1500; ip -n bbguest link set gpg mtu 1500
ip netns exec bbguest ping -c 4 -s 1472 -W 1 10.99.0.1

Hasil: ping kecil 4 dari 4 sampai. Ping 8972 byte 0 dari 4 (100% hilang). Setelah semua dikembalikan ke 1500, ping 1472 byte kembali 4 dari 4.

⚠️ Hati-hati: yang salah tidak selalu bond. Kalau switch hanya menerima frame 1500, dua host ber-MTU 9000 tetap gagal bicara jumbo. MTU harus sama di seluruh jalur, termasuk port switch dan NIC.

πŸ”Ή Langkah 8: skrip audit jalur

Pemeriksaan manual gampang terlewat. Skrip ini membaca kondisi nyata dari /proc dan /sys, bukan dari konfigurasi yang kamu niatkan.

#!/bin/bash
# audit-jalur.sh -- periksa bond sebagai port bridge
# pakai: ./audit-jalur.sh <nama-bridge> <nama-bond>
set -u
BR=${1:-labbr0}
BO=${2:-bond0}
temuan=0
fail() { echo "TEMUAN [$1] $2"; temuan=1; }

[ -d "/sys/class/net/$BR/bridge" ] || { echo "FATAL: $BR bukan bridge"; exit 2; }
[ -d "/sys/class/net/$BO/bonding" ] || { echo "FATAL: $BO bukan bond"; exit 2; }

mode=$(awk '{print $1}' /sys/class/net/$BO/bonding/mode)
miimon=$(cat "/sys/class/net/$BO/bonding/miimon")
mapfile -t slaves < <(awk '/^Slave Interface/ {print $3}' "/proc/net/bonding/$BO")
n=${#slaves[@]}

echo "target: bridge=$BR bond=$BO mode=$mode miimon=$miimon slave=$n"

[ "$n" -ge 2 ] || fail SLAVE "bond $BO hanya punya $n slave"

if [ "$mode" = "active-backup" ] && [ "$miimon" -eq 0 ]; then
  fail MIIMON "active-backup dengan miimon 0: kabel putus tidak terdeteksi"
fi

for s in "${slaves[@]}"; do
  m=$(ip -o link show "$s" 2>/dev/null | grep -o 'master [^ ]*' | awk '{print $2}')
  [ "$m" = "$BO" ] || fail PORT "slave $s punya master '${m:-tidak ada}'"
  c=$(cat "/sys/class/net/$s/carrier" 2>/dev/null || echo 0)
  [ "$c" = "1" ] || fail CARRIER "slave $s tanpa carrier"
done

pm=$(ip -o link show "$BO" | grep -o 'master [^ ]*' | awk '{print $2}')
[ "$pm" = "$BR" ] || fail MEMBER "bond $BO bukan port $BR"

mb=$(cat "/sys/class/net/$BO/mtu"); mr=$(cat "/sys/class/net/$BR/mtu")
[ "$mb" = "$mr" ] || fail MTU "MTU bond $mb != bridge $mr"
for p in $(ls "/sys/class/net/$BR/brif"); do
  mp=$(cat "/sys/class/net/$p/mtu" 2>/dev/null || echo "?")
  [ "$mp" = "$mr" ] || fail MTU "port $p MTU $mp != bridge $mr"
done

[ "$(cat "/sys/class/net/$BR/operstate")" = "up" ] || fail BRIDGE "bridge $BR tidak up"

fdb=$(bridge fdb show br "$BR" 2>/dev/null | grep -vc permanent)
echo "info: fdb_dinamis=$fdb"
[ "$fdb" -eq 0 ] && echo "CATATAN [FDB] belum ada MAC dinamis"

[ "$temuan" -eq 0 ] && echo "HASIL: BERSIH (exit 0)"
exit "$temuan"

πŸ’‘ Tips: skrip audit yang berguna punya tiga hasil, bukan dua. 0 bersih, 1 ada temuan, 2 lingkungannya tidak sesuai. Tanpa kode 2, "bond tidak ada" akan dilaporkan sebagai "konfigurasi bersih".

πŸ”Ή Langkah 9: lima skenario rusak

Skrip diuji dengan kerusakan yang sengaja dibuat. Semua temuan di bawah adalah keluaran nyata lab ini.

Skenario Perubahan Temuan skrip Kode
Bersih tidak ada HASIL: BERSIH 0
Tanpa deteksi miimon 0 MIIMON 1
Slave dicuri sl2 masuk bridge SLAVE (1 slave) 1
MTU beda bond 9000 MTU (2 baris) 1
Bridge mati labbr0 down BRIDGE + FDB 0 1
Nama salah argumen keliru FATAL 2

⚠️ Hati-hati: ip link set sl2 master labbr0 di lab ini berhasil tanpa pesan error. Bond langsung kehilangan satu slave dan tersisa satu jalur. Tidak ada peringatan di kernel, tidak ada log. Inilah alasan audit harus memeriksa jumlah slave, bukan hanya status interface.

πŸ“Š Angka penting: setelah miimon diubah menjadi 0 saat trafik berjalan, pengukuran dari tamu menjadi 55 dari 200 paket sampai β€” 72,5% hilang β€” sementara MII Status untuk slave yang kabelnya dicabut tetap tertulis up.

Satu temuan lain yang layak dicatat: menulis mode bond lewat /sys saat bond aktif diterima tanpa error tetapi diabaikan. Berkas mode tetap active-backup 1. Untuk benar-benar mengganti mode, bond harus dibuat ulang.

πŸ”Ή Langkah 10: rollback berurutan

ip link del labbr0
ip link del bond0
ip netns del bbsw
ip netns del bbguest
rm -f /root/audit-jalur.sh /tmp/ping_failover.txt

ip -o link show | wc -l
ip netns list
ip -o link show type bond | wc -l
diff /root/interfaces.sebelum-lab /etc/network/interfaces

Urutannya dari atas ke bawah: lepas bridge, lepas bond, baru hapus namespace. Jangan pernah menghapus NIC fisik untuk "membersihkan sisa" β€” bond dan bridge bisa dibuat ulang, kartu jaringan yang salah dihapus butuh kunjungan fisik ke ruang server.

Hasil rollback lab ini: 24 link (sama dengan potret awal), 0 namespace, 0 perangkat bond, dan vmbr0 beserta delapan tamu tidak tersentuh.

βœ… Verifikasi

Perintah Harapan Artinya
cat /proc/net/bonding/bond0 mode + 2 slave + miimon 100 bond utuh
bridge link show dev labbr0 bond0 state forwarding jalur diteruskan
bridge fdb show br labbr0 ada MAC dinamis ada trafik nyata
ping -D 300 paket celah < 100 ms failover cepat
ping -s 1472 0% hilang MTU konsisten
/root/audit-jalur.sh BERSIH, exit 0 tidak ada temuan
ip -o link show type bond 0 setelah rollback lab benar-benar bersih
diff interfaces tidak ada beda host tidak berubah

πŸ§ͺ Uji cepat: satu baris untuk memastikan tidak ada sisa lab sebelum pulang.

ip -o link show | grep -E 'labbr|bond0|gpl|sl1' || echo "tidak ada sisa"

⚠️ Kesalahan umum & troubleshooting

Gejala Penyebab umum Perbaikan
tamu tanpa IP setelah bridge dibuat bridge atau port belum up ip link set up, cek state disabled
ping kecil jalan, unggahan mati MTU beda di satu titik samakan MTU seluruh jalur
kabel putus, trafik tidak pindah miimon 0 set miimon 100
failover tidak kembali ke kabel utama active-backup menahan slave aktif set primary + primary_reselect
bond hanya tersisa satu slave slave dipindah ke bridge nomaster, kembalikan ke bond
ping jalan tetapi LACP tidak terbentuk switch tanpa LACP aktifkan LACP di switch
agregasi tidak menambah throughput satu aliran satu jalur uji banyak aliran paralel
port bridge state disabled bridge induk down naikkan bridge dulu
mode bond tidak berubah ditulis saat bond aktif buat ulang bond
"bond" terlihat ada padahal tidak bonding_masters cek ip link show type bond

πŸ”Ή Failover tidak kembali sendiri

active-backup mempertahankan slave yang sedang aktif meskipun kabel lama sudah pulih. Kalau kamu ingin kabel utama dipakai lagi, tentukan primary dan atur primary_reselect (misalnya better atau always). Tanpa itu, jangan kaget melihat Currently Active Slave: sl2 berhari-hari setelah perbaikan.

πŸ”Ή Slave hilang tanpa pesan error

Ini temuan paling berbahaya di lab ini. Memindahkan slave ke bridge tidak ditolak kernel; bond hanya berkurang anggotanya. Biasakan memeriksa jumlah Slave Interface, bukan hanya MII Status.

πŸ”Ή Ping jalan tetapi LACP tidak terbentuk

Di artikel pagi sudah dibuktikan: ping tetap 0% hilang melawan bridge tanpa LACP, padahal Partner Mac Address kosong dan Number of ports: 1. Ping hanya membuktikan ada satu jalur yang hidup, bukan bahwa agregasi bekerja. Buktinya ada di Partner Mac Address dan Aggregator ID, bukan di persentase loss.

πŸ”Ή MTU: kecil jalan, besar mati

Gejala khasnya menipu: SSH lancar, halaman web terbuka, tetapi unggahan berkas besar berhenti di persentase tertentu. Mulailah dari ping -s 1472 lalu naikkan sampai gagal; titik gagal itu menunjukkan MTU efektif jalur.

🏭 Dipakai di dunia kerja

  • Sekolah/lab komputer: lab 30 PC dengan server ujian butuh dua jalur ke switch core. Tanpa miimon, kabel yang longgar di rak membuat unggahan jawaban gagal tanpa alarm apa pun.
  • Kantor/UMKM: dua kabel ke dua switch lantai berbeda dipakai sebagai cadangan. Audit jumlah slave mencegah "cadangan" yang sebenarnya sudah lepas berbulan-bulan.
  • Klinik/rumah sakit: aplikasi rekam medis tidak boleh putus saat satu jalur mati. Jendela gagal 44–66 ms masih aman untuk sesi, tetapi tidak aman untuk perangkat yang menunggu jawaban tiap paket.
  • Hosting/VPS: penyedia sering hanya memberi satu NIC virtual, jadi bond tidak relevan. Yang tetap relevan: memastikan bridge tidak menambah MTU dan tidak menyalakan STP sembarangan.
  • ISP/NOC: perangkat agregasi memakai LACP dan memantau Partner Mac Address. Ping hijau tanpa partner adalah alarm yang sering diabaikan.
  • Industri/OT: jaringan kontrol butuh jalur redundan dengan waktu pindah yang diketahui, bukan sekadar "ada dua kabel". Angka celah gagal harus masuk dokumen serah terima.

πŸ” Catatan keamanan & etika

  • Uji perubahan jalur di luar jam produksi. Mematikan bridge selama satu detik cukup untuk memutus sesi ujian yang sedang berjalan.
  • Jangan pernah bereksperimen pada NIC yang sedang melayani vmbr0. Lab ini memakai namespace justru agar tidak ada tamu yang ikut menanggung risiko.
  • Bridge tanpa STP dan dengan dua jalur fisik membentuk loop. Isolasi dulu di lab; jangan menambal loop dengan mematikan STP di jaringan produksi.
  • vlan_filtering 0 berarti semua VLAN lewat tanpa pemisahan. Kalau bridge dipakai untuk banyak VLAN, ini bukan sekadar masalah performa.
  • Siapkan jalur balik (konsol, IPMI, atau akses fisik) sebelum mengubah jalur utama. Konfigurasi jaringan yang salah bisa mengunci kamu dari mesin yang sedang kamu perbaiki.
  • Hasil audit berisi peta jalur dan alamat MAC. Perlakukan seperti dokumen internal; jangan diunggah ke grup publik.

πŸ“Œ Kesimpulan

  • Jalur dibangun satu arah: kartu fisik β†’ bond β†’ bridge β†’ tamu. Membalik urutan menghilangkan informasi redundansi.
  • Failover yang benar bisa diukur: 297 dari 300 paket sampai dengan celah 44–66 ms, bukan sekadar "masih ping".
  • miimon 0 adalah kesalahan senyap: 72,5% paket hilang sementara status di /proc tetap up.
  • MTU yang tidak sama membuat ping kecil lolos dan transfer besar mati. Samakan di seluruh jalur.
  • Skrip audit dengan tiga kode keluar mengubah pemeriksaan menjadi keputusan yang bisa dipertanggungjawabkan.

Langkah berikutnya: setelah jalur terbukti benar, topik yang menunggu di antrean adalah snapshot vs backup β€” karena jalur yang bagus tetap tidak menyelamatkan data yang tertimpa.

πŸ”— Materi terkait

πŸ“š Referensi