Proxmox - SmartHome system

[dusanmsk]

Aha. To som nepoznal.

No, priznam sa ze ja sa snazim najst si cas sa od influxu odstrihnut uplne, pretoze obcas potrebujem nejaky measurement premenovat, alebo zlucit s inym (ked omylom nieco premenujem v loxone, tak mam potom 2 measurementy a preseknutu historiu) a vzdy je to pita a musim si na to programovat jednoucelove scripty co to z tade nejak vydoluju a naleju naspat v inej forme. Prejdem pravdepodobne na timescaledb, ale tam bohuzial nie je tak pekna podpora pre autocomplete v query editore v grafane Clovek si proste nevyberie.

[skybor]

Tak funkční InfluxQL příkaz na smíchání dvou balíků dat (historických a nových) jsem sice nenašel, ale našel jsem šikovnou utilitku influx_inspect

https://docs.influxdata.com/influxdb/v1 ... x_inspect/
https://docs.influxdata.com/influxdb/v1 ... th--import

a k tomu tenhle příklad exportu/importu:

Kód: Vybrat vše

influx_inspect export -compress -datadir /var/lib/influxdb/data  -waldir /var/lib/influxdb/wal -out /root/1.gz
influx_inspect export -compress -datadir /var/lib/influxdb/data  -waldir /var/lib/influxdb/wal -out /root/2.gz
influx -import -compressed=true -path=/root/1.gz
influx -import -compressed=true -path=/root/2.gz

trochu jsem si to upravil (to by mi šlo)

Rpi:

Kód: Vybrat vše

sudo influx_inspect export -compress -datadir /var/lib/influxdb/data  -waldir /var/lib/influxdb/wal  -database temp -out /mnt/shared/samba/backup_influx/temp1.gz

Proxmox LXC influxDB

Kód: Vybrat vše

influx_inspect export -compress -datadir /var/lib/influxdb/data  -waldir /var/lib/influxdb/wal -database temp -out /mnt/shared/samba/backup_influx/temp2.gz
influx  -execute 'DROP DATABASE "temp"'
influx -import -compressed=true -path=/mnt/shared/samba/backup_influx/temp1.gz
influx -import -compressed=true -path=/mnt/shared/samba/backup_influx/temp2.gz

a výsledkem je kompletní "smíchaná" databáze s celou historií v novém influxDB proxmox LXC kontejneru na Dellu

PS: Moje stařičké RPi při tom exportu málem vyplivlo duši. Práce přes 2 hodiny. Asi nikdy nepochopím, jak to RPi mohlo udržet celou dobu ty tuny dat kozistentní a ještě k tomu na SD kartě? Nicéně dokázalo zvládnout i svůj poslední důležitý úkol a může se nechat hybernovat pro svědectví budoucím generacím, že i malý dokáže velké věci.

[soami]

Mohl by mi někdo poradit s instalací influxdb v proxmox? Dělám novou instalaci v1 přes script ttec - https://community-scripts.github.io/ProxmoxVE/scripts , který stahuje poslední verzi (v1.11.8) - ta má v instalačním scriptu bug, který instalaci přeruší. viz https://github.com/influxdata/influxdb/issues/25571
Existuje nějaký script, který by tahal starší verzi influxdb 1.11.7 debian 11? I Zkoušel jsem i ruční instalaci CT, ale nenašel jsem funkční link/verzi na stažení - a stahovat z nějakého noname odkazu nechci. Jsem v tom hodně začátečník, takže nějaké úpravy před/při instalaci jsou mimo mé schopnosti...

[soami]

Tak už je to OK - komunita to opravila a stahuje to předchozí instalačku 1.11.7, která je v pořádku. Instalace dokončena.

[eman]

Chlapi, jak zálohujete Proxmox?
Zalohu HA na Proxmoxu mám na Google a USB disku, ale nějak si nedokážu představit, že po závadě disku nebo celého NUC budu všechno instalovat znova a pak obnovovat data.
Je možná záloha image celého disku, jak to umožňují Windows programy?

Dostal jsem druhý NUC, tak jsem naivně myslel, že nastavim na Proxmoxu cluster a budu mít klid, ale on funguje až od 3 nodů a ještě blbě.

[glottis]

proxmox jako takovy nezalohuju. Nainstalovane to je za 10 minut. pak staci jen obnovit virtualky ze sdileneho disku. Rozjizdet doma nejaky cluster je vopruz. Musis mit sdileny storage a nebo dost nodu na nejaky distribuovany filesystem mezi nody. To je jednodusi mit v supliku predinstalovany proxmox kdyz se s tim pak nechces drbat a jen obnovit vm

[eman]

A je nějaká možnost, jak uděla zálohu veškerých nastavení? Obnovit virtuálky je snadné, ale nastavení disků a připojených usb zařízení je pakárna. Vždy to dělám podle návodů a zabiju tím kvanta času.

[skybor]

Provozujete někdo zigbee2mqtt na Proxmox jako LXC kontejner (na Apline Linux) ? Rozhodl jsem se konečně postuně integrovat ty moje zigee komponenty (a nějaké další doplnit), ale vždy po nějaké době (pár hodin) mi zigbee2mqtt padne do stavu crashed. Netušíte někdo v čem by mohl být problém?

Po restartu LXC nebo jen stop/start zigbee2mqtt služby vše zase jede OK.

[TomHC]

Na Dockeri v Synology to celkom drží...

[mgx]

Proxmox, virtualizovany HA, Zigbee bezi v dockeri pod HA. Uptime nonstop, restarty len raz tyzdenne kvoli aplikacii updatov. Musis zistit, preco to pada, tzn. pri beziacom procese na to zavesit nejaky "strace" a zapisovat do suboru. Najpravdepodobnejsie zly konfig, nesplnene dependencie alebo stare baliky a uplne najhorsi nejaky stary zly zigbee adapter. Aky HW pre zigbee pouzivas? Tym by som zacal.

Kód: Vybrat vše

Welcome to Node-RED
===================
21 Feb 00:51:21 - [info] Node-RED version: v4.0.9
21 Feb 00:51:21 - [info] Node.js  version: v22.13.1
21 Feb 00:51:21 - [info] Linux 6.6.73-haos x64 LE
21 Feb 00:51:21 - [info] Loading palette nodes
21 Feb 00:51:22 - [info] Node-RED Contrib Theme Collection version: v4.0.11
21 Feb 00:51:23 - [info] Dashboard version 3.6.5 started at /endpoint/ui
(node:296) [DEP0040] DeprecationWarning: The `punycode` module is deprecated. Please use a userland alternative instead.
(Use `node --trace-deprecation ...` to show where the warning was created)
21 Feb 00:51:24 - [info] node-red-contrib-home-assistant-websocket v0.75.0 nodes initialized
21 Feb 00:51:24 - [info] Settings file  : /etc/node-red/config.js
21 Feb 00:51:24 - [info] Context store  : 'default' [module=memory]
21 Feb 00:51:24 - [info] User directory : /config/
21 Feb 00:51:24 - [warn] Projects disabled : editorTheme.projects.enabled=false
21 Feb 00:51:24 - [info] Flows file     : /config/flows.json
21 Feb 00:51:24 - [warn] Encrypted credentials not found
21 Feb 00:51:24 - [info] Server now running at http://127.0.0.1:46836/
21 Feb 00:51:24 - [info] Starting flows
21 Feb 00:51:24 - [info] Started flows
[00:51:24] INFO: Starting NGinx...
21 Feb 00:51:29 - [info] [server:Home Assistant] Connecting to http://supervisor/core
21 Feb 00:51:29 - [info] [server:Home Assistant] Connected to http://supervisor/core
27 Feb 18:42:14 - [info] [server:Home Assistant] Connection closed to http://supervisor/core
27 Feb 18:42:19 - [info] [server:Home Assistant] Connecting to http://supervisor/core
27 Feb 18:42:31 - [info] [server:Home Assistant] Connecting to http://supervisor/core
27 Feb 18:42:31 - [info] [server:Home Assistant] Connected to http://supervisor/core
3 Mar 20:34:31 - [info] [server:Home Assistant] Connection closed to http://supervisor/core
3 Mar 20:34:36 - [info] [server:Home Assistant] Connecting to http://supervisor/core
3 Mar 20:34:53 - [info] [server:Home Assistant] Connecting to http://supervisor/core
3 Mar 20:34:53 - [info] [server:Home Assistant] Connected to http://supervisor/core
6 Mar 16:20:13 - [info] [server:Home Assistant] Connection closed to http://supervisor/core
6 Mar 16:20:18 - [info] [server:Home Assistant] Connecting to http://supervisor/core
6 Mar 16:20:30 - [info] [server:Home Assistant] Connecting to http://supervisor/core
6 Mar 16:20:30 - [info] [server:Home Assistant] Connected to http://supervisor/core
14 Mar 06:21:05 - [info] [server:Home Assistant] Connection closed to http://supervisor/core
14 Mar 06:21:10 - [info] [server:Home Assistant] Connecting to http://supervisor/core
14 Mar 06:21:10 - [info] [server:Home Assistant] Connected to http://supervisor/core

[skybor]

Včera jsem aktualizoval celý LXC kontejner včetně zigbee2mqtt ( "apk update && apk upgrade") a zatím se to jeví stabilně. Pokud to bude ještě zlobit zkusím to pak spustit přímo pod HA.

[eman]

Zkoušel jste někdo zprovoznit cluster z Proxmoxu?

Co jsem se dočetl, tak ze dvou nodů to nemá cenu, protože když umře jeden, tak druhý nefunguje taky, což tedy postrádá smysl.

[PetaJoule]

Já mám několik Proxmox clustrů a pro smart home takový speciál.

3 x ASUS Nuc 14 Pro na 20V DC (na Orion DC/DC 48/24 - který se ale dá nastavit na 20V)
Výhoda těch NUC je, že mají 2 x Thunderbolt4 40Gbps, tak to pěkně sviští.
Nepoužívám ovšem CEPH, nýbrž pouze RBD na kterým je normální ext4.

[TomHC]

Proxmox nepoznám, ale 2-node cluster je na iných technológiách v pohode, záleží len od toho ako funguje election (voľba). Na multi-datacenter sa zvykne ešte používať sieťový SMB share ako quorum/witness v treťom datacentre...

Ja mám doma ESXi, ale iba jeden, hlavnú robotu má na starosti Synology NAS. Ale je pravda, že KVM/Qemu na ich HW stojí za hovno, Linux to dá v pohode, ale jediný Windows čo sa na tom dá ako-tak prevádzkovať, je LTSC x86. A vtedy prichádza na scému ESXi

Ex-VMware teraz Broadcomm je na doma v pohode, lic. kľúče nájdeš hocikde a nikam to nereportuje, netreba online aktiváciu. Jediná malá nevýhoda je to, že na clustering potrebuješ VM s vCenter a tá potrebuje tak 12 GB RAM.

[glottis]

dvounodovy cluster je vzdycky tak trosku kompromis. Zalezi co od toho cekas. Jestli live migraci virtualu mezi nimi a HA prepinani, kdzy jedne umre, ze se to pusti jinde tak na to potrebujes nejakej typ sdileneho disku. Mas s tim dve moznosti.

1. pouzit disky primo v nodech ... proxmox umi ceph nebo to RDB. Pripadne nejakou moznost nad ZFS. Na dva nody je ale ceph a RDB praktycki nepouzitelnej. To je od 3 nodu a vic. Spis tech vic. Nad zfs by to nejak slo ale ja na to doma nemel odvahu. Pri experimentovani s tim sem pak akorat tak prisel o ty testovaci data

2. pouzit externi sdileny storage ... treba na synology udelat svazek, vypropagovat ho po iSCSI a to si pripojit do proxmoxu. Tohle bude fungovat velmi dobre a jednoduse. Budes mit live migrace, HA. Jen musis mit zalozni plan, kdyz ti umre synology Nebo jine pole. Takze zalohy mit treba lokalne na nodech, abys to mohl pustit jinak.

Sam jsem nad tim doma premyslel a nakonec si zatim nechal jen jeden node. Pripadne mozna udelam dvounodvy cluster s iscsi na synology ale primarne pojedu virtualky z lokalnich disku nodu. A na syno si dam jen spis nejake experimenty. Ted hlavne zalohovat tak denne odleju virtualky na synology. Kdyz se neco stane s proxmoxem, nainstaluju za chvilku novy, obnovim zalohu a jede se dal. Prijde mi to min srani nez se snazit o cluster na dvou nodech.

[eman]

Já právě dostal darem několik NUC a jelikož HA rozvíjím do té míry, že kdyby mi padnul, tak mi do reinstalace nebude fungovat půlka domu. Navíc, čím déle HA funguje, tím méně si pamatuju, jak jsem co nastavil nebo instaloval. Doufal jsem, že cluster na Proxmoxu bude fungovat stylem...nainstaluju druhý NUC, řeknu že tamhle je Master a oni se mezi sebou zreplikují, jako u diskového pole. A když jeden umře, tak dostanu jenom oznámení o degradovaném clusteru.
No bylo to naivní. Ještě navíc prý jde ten cluster sestavit jenom z identického hardware. Když je jiný procesor, tak už se musí emulovat virtuál nebo co.

Jde mi primárně o zálohu HA, ikdyž tam mám Pihole a Adguard, kde by výpadek zneprovoznil domácí internet.

[PetaJoule]

Ten problém u dvou - jak jistě z HA tématiky znáš - není až tak když jeden spadne úplně, ale když začne dělat "blbosti" a není nikdo kdo by rozhodnul který z těch dvou uzlů "má pravdu". Proto se v takovém případě vypínají oba nebo prostě musí být quorum 2 ze 3.

[eman]

Aha. Ja clusterům moc nehovím, takže díky za objasnění.
Když tedy použiju 3x nuc, kde v každém bude stejně velký disk, dá se to nastavit tak, aby se navzájem synchronizovali a když jeden pojde, tak jenom oznámý vadný node a pojednou dál?

[glottis]

ja bych se na to vykaslal. Pokud tomu zase tak moc nehovis tak to nestoji za to srani. Jestli mas dva nody, udelal bych dva, klidne samostatne. Vse nechal bezet na jednom a druhy mel zalozni, pripraveny. Nstavene automaticke zalohy a treba nascriptovat automaticke obnovy na tom druhem. Priapdne si to pak obnovit az pri katastrofe. Na par kliknuti.

Ale jestli mas chut experimentovat, jdi do neceho slozitejsiho a pak nas muzes spravit o svem uspechu

[eman]

Díky za info všem.

glottis: Myslíš udělat identickou instalaci bez připojení k síti? Nedá se udělat bitová kopie nuc s Proxmoxem? Já nejsem moc Linuxový typ a jak nemám k těmhle systémum návod pro blbý, tak se nechytám a nevím co umí.