Proxmox - SmartHome system

[gupa]

M2 bez řadiče je přímý bezřadičový vstup na sběrnici. Pokud hledáš M2 na PCI slot nebo s raid pseudo řadičem nebo USB nebo comporty 232 atd, tak najdeš. Jde oto, jestli to optiplex má a je na m2 slotu za sata řadičem jen pro sata M2 karty nebo je to pro rychlý M2 karty pro PCI, radič má karta, jestli to je HDD nebo wifi nebo RJ45 s ethernetem je jen na kartě s přímým vstupem na sběrnici.

[TomHC]

Ja vám držím palce, inžinieri dajte vedieť keď to bude hotové, a spočítajte si investovaný čas krát priemernú hodinu cenu práce.

[PetaJoule]

Já doufal, že na linux existuje podobné řešení, jako je na win systémy....záloha bitové kopie disku.

V Linuxu se tomu jen neříká bitová kopie:-)

Ale říká.

Kód: Vybrat vše

dd if=/dev/sda of=/backup/proxmox-full.img bs=64M status=progress

tam ale musí být server offline. Já preferuji něco jako

Kód: Vybrat vše

rsync -aAXv --exclude={"/dev/*","/proc/*","/sys/*","/tmp/*","/run/*","/mnt/*","/media/*","/lost+found","/var/lib/lxc/*/rootfs"} / /backup/proxmox-system/

[glottis]

glottis: Takže ten Backup umí zazálohovat celý Proxmox? Ne jenom VM? Promiň, že se ptám jak blbec, a pro mě je ten systém prostě něco, co jsem nainstaloval a nastavil podle obrázků a zatím neznám možnosti.

Ja se bojim, ze plaves v zakladnich pojmech.

Mas dva pocitace. Na kazdy z nich nainstalujes proxmox. Predstav si to jako bys na ne nainstaloval windows + virtualbox. V jednom proxmoxu si spustis virtualni stroj, treba home assistenta. Uplne stejne, jako by sis to pustil v tom virtualboxu. Udelas jeho zalohu (prakticky image, bitova kopie, rikej tomu jak chces ... proste to odkopiruje cely disk a neni dulezite jak to udela). V pripade problemu prvniho proxmoxu zalohu muzes obnovit na druhem proxmoxu. Tam se ti pak pusti ten stejny home assistent z doby zalohy.

Samotny proxmox (jako ty windows s virtualboxem) uz zalohovat nemusis. Je to prakticky k nicemu. Kdyz ti odejde ten NUC, vezmes novej, za par minut si nainstalujes novy proxmox, stejne jako bys nainstaloval ciste windows s virtualboxem. A muzes si tam pak zase obnovit zalohu a jet dal. Imagovat ten proxmox podle me nema cenu. Maximalne bych si nekam poznamenal navod, nastaveni site. Ale nemyslim si, ze tam budes mit nastaveneho neco extra.

[TomHC]

eman: Jak jsem psal, taky používám NUC, ale specificky ten 14 Pro, protože pro synchronizaci RBD nějaký Gigabit Ethernet opravdu nestačí a tam jsou dva 40Gbps TB4, takže

Kód: Vybrat vše

 
NUC1 <-> NUC2 <-> NUC3
   ^-----------------^

3 NUCy, 3 kabely, 120Gbps, dedikované pro synchronizaci, Ethernet je tím nedotčen.
Za necelých 60 tis mám celkem slušný domácí cluster. Říkám mu CML.

Zaujímalo by ma, ako cez jeden 40 Gbit Thunderbolt medzi troma zariadeniami urobíš 120 Gbit. Lebo zapojenie bude teda asi daisy chain. A ešte otázka, čím (aký workload) chceš saturovať takú rýchlu linku? Iperf nie je workload. Ďakujem

[PetaJoule]

Zaujímalo by ma, ako cez jeden 40 Gbit Thunderbolt medzi troma zariadeniami urobíš 120 Gbit.

Jak jeden? Dyť píšu, že 3 kabely. 3 x 40 = 120
Ještě jsem poslal obrázek, pokud máš problém jej v hlavě transformovat na trojúhelník, tak
pomůže, jako vždy, UI:

Protože každý 40Gbps uplink funguje nezávisle na jiných, mohou fungovat paralelně = 120Gbps.

[TomHC]

Medzi nodami máš stále "len" 40 Gbit. Ak idú za sebou tri autá 100 km/h, tiež sa nedá povedať že idú 300 km/h.

[PetaJoule]

Jsi fakt natvrdlý. Ale 3 auta vezou 3x tolik lidí.

Je nutno aby se synchronizovaly všechny nodes. Samozřejmě, že se může synchronizovat node 1 a 2 během toho, co se synchronizuje 2 a 3 behem toho co se synchronizuje 1 a 3.

Možná si přečti definici "bandwidth". Například u síťových switchů.

[TomHC]

Natvrdlý... máš to super, state of the art, uži si to Na preberaný Home assistant to dúfam bude stačiť

[glottis]

Jako poscitat to kros virtualizacni cluster to chce dost fantazie. Kazdy node se sousedem ma proste jen 40Gb. V nejlepsim pripade muze node treba prijimat 80Gb ze sousedu. Rozhodne si nemuzes rict ze mas 120Gb bandwidth. Nebo muzes ale je to tak do marketingu. Nikdo toho nedoshne a pri synchronizaci 3 nodu navzajem uz vubec ne. U sw to je uplne jina pohadka. To definuje propustnost cele te switching matrix uvnitr. To i 8x1gb port sw tonda ma propustnost 8Gb.

Mozna to jeste spocitat jinak. TB je fullduplex, to ma kazdej stroj 2x in 40 a 2x out 40 ... to mas 160gb na stroj * 3

Se to nejak zvrhlo ne?

Ale cislo 42 je taky dobry

Abych se to pokusil nasadit na koleje. Delat si doma cluster, aby mitam bezeli dva virtualy i prijde ujety. Vsichni tu resi jestli mjultiplus bude zrat 20 nebo 30W v idlu a pak si nasadit pocitace, co to budou zrat z buhdarma To uz je levnejsi si ten virtual rovnou pustit v hezneru.

2cpu, ram 4 GB a disk 40 GB za 3,7EUR za mesic. To je za rok asi 1100kc/ 45E. Kdyz bych si mel za desitku koupit NUC, muzu platit 10 let virtual a nemusim se o to starat

[josse]

Jen bych chtěl nezkušené upozornit, že výše jsou nedostatečně identifikované jak disky tak konektory na deskách.

M2 prostě nestačí.

Je to b-key nebo m-key.

Jedno je SATA a druhé je PCI-E. Ze SATA se nic jiného neudělá. PCI-E je možno dělit na čtyři x1 linky připojovat libovolně karty, řadiče, ... Redukce na PCI prostě mám spoustu možností. A pak existují výrobky které se umí přepnout do obojího, ale to jsou spíš výjimky.

[PetaJoule]

Jako poscitat to kros virtualizacni cluster to chce dost fantazie. Kazdy node se sousedem ma proste jen 40Gb. V nejlepsim pripade muze node treba prijimat 80Gb ze sousedu. Rozhodne si nemuzes rict ze mas 120Gb bandwidth. Nebo muzes ale je to tak do marketingu. Nikdo toho nedoshne a pri synchronizaci 3 nodu navzajem uz vubec ne. U sw to je uplne jina pohadka. To definuje propustnost cele te switching matrix uvnitr. To i 8x1gb port sw tonda ma propustnost 8Gb.

Mozna to jeste spocitat jinak. TB je fullduplex, to ma kazdej stroj 2x in 40 a 2x out 40 ... to mas 160gb na stroj * 3

Se to nejak zvrhlo ne?

Ale cislo 42 je taky dobry

Abych se to pokusil nasadit na koleje. Delat si doma cluster, aby mitam bezeli dva virtualy i prijde ujety. Vsichni tu resi jestli mjultiplus bude zrat 20 nebo 30W v idlu a pak si nasadit pocitace, co to budou zrat z buhdarma To uz je levnejsi si ten virtual rovnou pustit v hezneru.

2cpu, ram 4 GB a disk 40 GB za 3,7EUR za mesic. To je za rok asi 1100kc/ 45E. Kdyz bych si mel za desitku koupit NUC, muzu platit 10 let virtual a nemusim se o to starat

Já miluju, jak si to tu navzájem lajkujete. "Aspoň že tu nie som sám s takým názorom. Niekto neznalý z toho možno padne na prdel..."
Můj otec by asi prohlásil něco jako "div, že si navzájem nepijete z prdele vodu" - nebo tak.

No, asi budu muset vrátit diplom. Niekto neznalý třeba nezná definici pojmu "bandwidth". Pak se k němu přidá někdo, kdo jí taky nezná. A ejhle - už mají jistě o trochu víc pravdu.

Šířka pásma v clusteru: Širší pohled
V kontextu počítačového clusteru se často používá termín "celková šířka pásma" (total bandwidth) nebo "agregovaná šířka pásma" (aggregate bandwidth). Tento pojem popisuje kombinovanou datovou propustnost všech síťových spojení uvnitř clusteru. Je to klíčová metrika pro pochopení celkového výkonnostního potenciálu, zvláště pro úlohy, které vyžadují intenzivní komunikaci mezi jednotlivými uzly.

Váš příklad je dokonalou ukázkou
Váš příklad tento koncept skvěle ilustruje:

Máte 3 uzly.

Každý uzel je propojen s každým dalším (tzv. topologie "full mesh").

Každé toto spojení má kapacitu 40 Gbps.

Pro výpočet celkové šířky pásma jste správně sečetl kapacity jednotlivých unikátních spojení:

Spojení mezi Uzlem 1 a Uzlem 2 (40 Gbps)

Spojení mezi Uzlem 1 a Uzlem 3 (40 Gbps)

Spojení mezi Uzlem 2 a Uzlem 3 (40 Gbps)

Celková šířka pásma vašeho clusteru je tedy skutečně 120 Gbps (40 + 40 + 40). Toto číslo představuje maximální množství dat, které se může v jeden okamžik pohybovat mezi všemi uzly v celém clusteru současně.

[PetaJoule]

Natvrdlý... máš to super, state of the art, uži si to Na preberaný Home assistant to dúfam bude stačiť

Jaký HomeAssistant? Já mám WHIP.
Pak na tom ještě běží ZoneMinder a pár jiných věcí.
A ano. Šlape to dobře za malý peníz. V porovnání s nějakým Supermicro FatTwin + Mellanox (což mám taky, ale ne u Hetznera).

[cipis]

Zmírněte ten tón diskuze!

[glottis]

Natvrdlý... máš to super, state of the art, uži si to Na preberaný Home assistant to dúfam bude stačiť

Jaký HomeAssistant? Já mám WHIP.
Pak na tom ještě běží ZoneMinder a pár jiných věcí.
A ano. Šlape to dobře za malý peníz. V porovnání s nějakým Supermicro FatTwin + Mellanox (což mám taky, ale ne u Hetznera).

Tema je emanuv proxmox + smarthome system a zda a pokud vubec delat nejaky cluster popripade HA. Tak se o tom, kupodivu, bavime.

[eman]

Nakonec to udělám jak radil glottis. Jeden NUC nainstaluju nanečisto a nechám běžet v nějakém úsporném módu. Akorát ty zálohy budu kopírovat na Synology. Vždycky jsem ho chtěl na zálohy, tak do něj půjdu teď, ale ne do tak drahé verze co má Tom. Škoda, že domácí RAID nejde postavit pomocí těch NUC, které už mám.

[glottis]

tak zalezi. Jsou distra, co ti z pc udelat neco jako synology. Ja to nikdy nezkousel tak ti overene neporadim. A pak zalezi co do toho nucu jde nastrkat za disky. Pokud by to byli jen zalohy tech virtualek, muze ti stacit i jeden disk a kdyz to zdechne tak s enic moc nestane. Zalohu udelas znova. kdyz bys tam chtel mit i data, raid je potreba a to bys tam musel dostat aspon dva

[TomHC]

Volá sa to Xpenology, funguje to pekne, v podstate všetko okrem QuickConnect. S tým som začínal, mal som to raz aj na ESXi a disky namapované ako RAW device, neskôr som ich iba fyzicky presunul do originál Synology a všetko fungovalo ďalej xpenology je super v tom, že tam vieš dať o dve triedy výkonnejší HW ako dáva Synology.

Eman, ak chceš RAID, pozri DS2xxj. Séria "j" sú lacné NAS s ARM CPU, na základné veci v pohode. Ale je to ako začať s FVE na 24V/3 kW - namotáš sa, predáš a budeš kupovať lepšie Mne sa podarilo kúpiť DS120j tuším za 60€. Je to off-site záloha, tam mi RAID netreba...

[dusanmsk]

Na raid nepotrebujes specialne distro, ale ano, su take co ti hromadu veci ulahcia.
Sam mam doma homemade NAS nad debianom a vedla neho male lenovo s proxmox na ostatne. Proxmox sa cez nfs zalohuje na ten NAS. S energetickeho pohladu je to ale nezmysel, pretoze mi bezia aj tak oba nonstop, plus to lenovo ma max 32gb ram, takze planujem dokonvergovat do stavu ze oboje nahradim stredne silnym serverom s viac diskovymi poziciamia 128 gm ram a dam to vsetko dohromady na 1 stroj. Nainstalujem debian na zelezo a na neho doinstalujem proxmox a proxmox-backup-server.

edit - ad xpenology - nechal som sa nalakat aby som si usetril pracu a miesto skladania dvoch nas-ov som sahol po synology, z dovodu moznosti naviac co ponukaju (hyperbackup, docker,...). Vi vysledku na oboch chcijem proti vetru, znasilnujem to aby to robilo co chcem a tak vlastne jedine plus co mi to prinasa je ten ich hybrid raid a vstavany dohlad na 2 kliky. Ale zalohy, docker, so vsetkym tam zapasim, pretoze nic nerobi to na co som zvyknuty.

[TomHC]

Dusanmsk: Synology je skôr pre používateľov ktorí nemajú špeciálne požiadavky. Ale veľa vecí tam vieš urobiť cez shell...