[Megoldva]Proxmox 4 vs trunk

 ( dzsambo | 2015. október 16., péntek - 21:29 )

Sziasztok!

Segítséget kérnék mert már kihullik a hajam.

Adott lenne egy 3 node-os cluster, minden node 4 db ethernet portal rendelkezik. 2 menne storage-ok fele, 2 pedig összefogva
trunk-ön lógna management háló és egyéb belső hálók irányába. Innen adódnak a problémák, ugyanis proxmox nem hajlandó taggelni.
Külön vlan csomag már nem kell neki, viszont nem tudok rájönni mit rontok el vagy mi a gond.
Hiába állítom be a vmbr0-án a bridge portot pl bond0.10-re vagy vlan10-re egyik sem hoz eredményt.

Network konfigot csak hétfőn tudok adni ha érdekel valakit.

Ha valaki használja már nem tudna bemásolni egy működő interface konfigot hogy okosodni tudja.

Köszi.

Megoldás: nem kell a vlanonat felvenni ( csak a managementét ha kell ), csak egy trunk bridget és a vm beállításánál megadni hogy melyik vlanba tartozik.

Ez a végleges interface config ami nálam működik:

auto lo
iface lo inet loopback

iface eth0 inet manual

iface eth1 inet manual

iface eth2 inet manual

iface eth3 inet manual

#storage network
auto bond0
iface bond0 inet static
slaves eth2 eth3
bond_miimon 100
bond_mode 802.3ad
address 10.10.10.1
netmask 255.255.255.0

#trunk network
auto bond1
iface bond1 inet manual
slaves eth0 eth1
bond_miimon 100
bond_mode 802.3ad

#management vlan
auto vlan2
iface vlan2 inet manual
vlan_raw_device bond1

#management bridge
auto vmbr0
iface vmbr0 inet static
address 1.1.1.2
netmask 255.255.255.0
gateway 0.0.0.0
bridge_ports vlan2
bridge_stp off
bridge_fd 0

#trunk bridge
auto vmbr1
iface vmbr1 inet static
bridge_ports bond1
bridge_stp off
bridge_fd 0
bridge_vlan_aware yes

Hozzászólás megjelenítési lehetőségek

A választott hozzászólás megjelenítési mód a „Beállítás” gombbal rögzíthető.

Ma eddig jutottam vele, vmbr0 működik, viszont az egyéb vlanok taggelése nem megy, erre a vmbr1-et akarnám használni.
Közben előjött egy mások gond is, a live mirgáció nem megy, csak ha leállítom. Erről sajna elfelejtettem logot kimásolni.

auto eth0 inet static

auto eth1 inet static

auto eth2 inet static

auto eth3 inet static

auto bond0
iface bond0 inet static
slave eth2 eth3
bond_miimon 100
bond_mode 802.3ad
address 1.1.1.3
netmask 255.255.255.0

auto bond1
iface bond1 inet manual
slave eth0 eth1
bond_miimon 100
bond_mode 802.3ad

auto vlan2
iface vlan2 inet manual
vlan_raw_device bond1

auto vlan3
iface vlan3 inet manual
vlan_raw_device bond1

auto vlan4
iface vlan4 inet manual
vlan_raw_device bond1

auto vmbr0
iface vmbr0 inet static
address 2.2.2.1
netmask 255.255.255.0
gateway 0.0.0.0
bridge_ports vlan2
bridge_stp off
bridge_fd 0

auto vmbr1
iface vmbr1 inet manual
bridge_ports bond1
bridge_stp off
bridge_fd 0
még egy opció amit nem tudok fejből

ennyit valtozott a 4-esben a vlan kezeles?

nekem ilyenek vannak 3-as alatt:

# The primary network interface
iface eth0 inet manual

auto vmbr3
iface vmbr3 inet manual
        bridge_ports eth0.3
        bridge_stp off
        bridge_fd 0

auto vmbr4
iface vmbr4 inet manual
        bridge_ports eth0.4
        bridge_stp off
        bridge_fd 0

de szvsz ha eth0.X helyett bond0.X van akkor sem kene gondnal lennie...

(ifenslave-2.6 es vlan csomag fennvan, nemcsak a programok miatt, hanem mert bepakol scripteket az etc/network/if-*.d konyvtarakba)

--
A vegtelen ciklus is vegeter egyszer, csak kelloen eros hardver kell hozza!

kicsit változott pl ha fel akarod rakni a vlan csomagot és nem figyelsz akkor lőttek az egész proxmoxodnak ( tapasztalat - apt leszedi )

pont ezt akarom elkerülni, nem akarok minden vlan-hoz külön bridget. Csak 1 bridget akarok és a hostnál beállítani hogy melyik interface merre taggeljen. Ilyesmit szeretnék mint ami itt van a végén: https://pve.proxmox.com/wiki/Vlan

live migration nincs, igy adtak ki. a roadmapban szerepel (http://pve.proxmox.com/mediawiki/index.php?title=Roadmap&setlang=en) es az lxd is tudja. egyszer majd a proxmox is tudni fogja.

na most 1 dolgot nem értek, egy teszt vm-nek odaadtam egy vlant és felímeztem olyan ip-re ami már van az adott hálózatban. Meg is jön a üzenet az eredeti eszközről, hogy duplikált ip cím van a hálózatban, de a questen nem látszik ebből semmi, olyan mintha kifele mennének az üzenetek de visszafele már elvesznének

update:
tuti hogy valami gebasz van. Pingeltem a vm-et hálózat felöl és bár ping nincs, de bekerül az arp táblába a vm mac címe

A 802.1q-akármi modulok be vannak töltve?
Egy párszor én is szenvedtem friss telepítésű Ubuntu-kkal, ha VLAN-ozni akartam, aztán rájöttem, hogy csak restartolni kell... :)

nincs, de szerintem nem is kell különben a vmbr0 nem működe.

A kettőnek köze nincs egymáshoz, töltsd be szépen azt a modult is:)


// Happy debugging, suckers
#define true (rand() > 10)

hiába töltöd le, csomagütközés van és az apt leszedi ha nem figyelsz

apt-get install vlan
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following packages will be REMOVED:
proxmox-ve pve-manager
The following NEW packages will be installed:
vlan
0 upgraded, 1 newly installed, 2 to remove and 1 not upgraded.
Need to get 36.5 kB of archives.
After this operation, 150 kB of additional disk space will be used.
Do you want to continue? [Y/n]

Példa, LACP trunk, értelemszerűen módosítod.

/etc/modules
bonding mode-ot értelszerűen állítsd be, magától nem fogja behúzni 8021q, és bonding-ot is itt paraméterezed!

bonding mode=4 miimon=100 lacp_rate=1
8021q

/etc/network/interfaces

auto eth0
iface eth0 inet manual
bond-master bond0

auto eth1
iface eth1 inet manual
bond-master bond0

auto bond0
iface bond0 inet manual
bond-mode 802.3ad
bond-miimon 100
bond-downdelay 200
bond-updelay 200
bond-lacp-rate 1
bond-slaves none

auto vlan4
iface vlan4 inet static
address 10.60.4.100
netmask 255.255.255.0
network 10.60.4.0
broadcast 10.60.4.255
vlan-raw-device bond0

Szia!

Javaslom a legfrissebb openvswitch-switch csomag (pve-no-subscription repoban levőt!) telepítését (azért a pve-no-subscription, mert ott már javítva van, hogy jó sorrendben töltse be a systemd az ezzel kapcsolatos dolgokat)

A Proxmox GUI-ból simán konfigurálhatóan, natívan kezeli már.

1. OVS bridge (meg kell adni, hogy melyik fizikai vagy bond interfész legyen)
2. OVS inport (pl amennyiben a proxmoxnak a menedzsment hálózata vlan-ban van.)

Több lehetőség is van vlan használatra
1. egy az egyben át lehet adni az ovs bridge interfészt a guest gép számára, így ő taggelheti tetszőlegesen (persze így bármelyik vlant láthatja!)
2. a OVS bridge + vlan-tag átadása a guest network interfész létrehozásakor -így mint a korábbi linuxbridge esetén vlanonként külön interface jelenik meg a guest-en és csak az adott vlan-t látja, előnye, hogy nem kell mind a 3 host node-on minden bond0-ás vlant létrehozni live migration-hoz....

- úgy rémlik, hogy a korábbi Linuxbridge esetén nem is lehetett natívan átadni "trönkként" a bridge interfészt, hogy az összes vlan-t megkapja a guest, amit csak akar... csak egyesével külön bond0.vlanid + vmbrXX létrehozásán keresztül.

Használható configot a lenti linken találsz.. érdemes megismerkedni az "ovs-vsctl show" és társaival is azért.

https://pve.proxmox.com/wiki/Open_vSwitch

Alábbi bár nem bond-os minta, de a fenti linken van olyan is, teljesen jól működik nekem:

# dpkg -l|grep openvswitch-switch
ii  openvswitch-switch             2.3.2-1

# cat /etc/network/interfaces
allow-vmbr0 lan0
iface lan0 inet static
	address  10.0.0.250
	netmask  255.255.255.0
	ovs_type OVSIntPort
	ovs_bridge vmbr0
	ovs_options tag=666

allow-vmbr0 dmz0
iface dmz0 inet static
	address  172.26.0.250
	netmask  255.255.255.0
	ovs_type OVSIntPort
	ovs_bridge vmbr0
	ovs_options tag=26

auto lo
iface lo inet loopback

allow-vmbr0 eth0
iface eth0 inet manual
	ovs_type OVSPort
	ovs_bridge vmbr0

auto vmbr0
iface vmbr0 inet manual
	ovs_type OVSBridge
	ovs_ports eth0 lan0 dmz0


hatására:

# ovs-vsctl show
    Bridge "vmbr0"
        Port "lan0"
            tag: 666
            Interface "lan0"
                type: internal
        Port "eth0"
            Interface "eth0"
        Port "dmz0"
            tag: 26
            Interface "dmz0"
                type: internal
        Port "vmbr0"
            Interface "vmbr0"
                type: internal

sub

sub

sub +

sub, két ünnep között frissítem a clustert, jól fog jönni. Ty!:)


// Happy debugging, suckers
#define true (rand() > 10)