Vizualizace dat na MyPower.cz - Microlog, MQTT - Nová verze - testování

[lzahradil]

Solárníci,
protože mi sem tam někdo napíše dotaz ohledně projektu Microlog, rozhodl jsem se ho neposlat do záhuby, ale naopak ho oživit a rozšířit o nové funkce.

Původní serverová část, která přijímala data z Arduin / PHP micrologu apod., je už letitá. Psaná kdysi pro PHP 5 a na PHP 8 se jí nechce běžet ani po usilovném přemlouvání. Navíc ten starý kód brzdí další věci ve vývoji, které mám již dlouho připravené ale nejdou sem nasadit, protože je Microlog provázaný i s hlavní stránkou. Takže mi nezbylo nic jiného než to (trochu formou „reverzního inženýrství“ ) napsat celé znovu od nuly.

Funkčně by to mělo dělat to, co má (zatím jsem testoval hlavně „PHP verzi“), ale rád bych ověřil i Arduino variantu, protože tu ji pár lidí pořád používá.

Hledám dobrovolníky na pomoc

Má někdo nadbytečné Arduino s LAN, do kterého by nahrál Microlog a nastavil ho tak, aby aspoň odesílalo data (klidně i prázdné hodnoty)? Potřebuju ověřit, že to korektně chodí i s touhle variantou, než to překlopím na původní adresu, aby se data ze stávajících elektráren posílala do nového rozhraní.

Kdo pouziva phpmicrolog knihovnu, tomu mohu poskytnout verzi, která bude zasílat data jak do původního tak do nového.

Když už jsem to přepisoval, udělal jsem to moderněji:

data se už necpou do MySQL (je to pomalé a zbytečně náročné),
grafy se už nepřipravují přes rrdtools (server zbytečně nerenderuje všechny obrázky pořád dokola i když se na ně nikdo nechce podívat),
jako časosběr je použitá TS databáze InfluxDB (na časové řady ideální a velmi rychlá),
jako tvůrce grafů se na pozadí skrze API rozhraní ukrývá Grafana – takže různé typy grafů, zoomování, filtrování podle času/datumu, atd.

A aby to nezůstalo jen u „openfvelog/Microlog“:

doplnil jsem možnost posílat data i přes MQTT – takže není problém sledovat zařízení typu Tasmota, ESPHome a další, případně přeposílat vybrané topicy třeba z lokálního Home Assistanta (pokud někdo chce sdílet data z elektrárny a nechce řešit přístup do své sítě),

a hlavně: grafy a hodnoty v grafech si může každý nastavovat sám, včetně výpočtových hodnot pro statistiky (ty ještě musím dodělat), přes webové rozhraní.

Testování:

Všechno už běží a prvním testerům jsem dal přístup schválně bez vysvětlování. Chci zjistit, jestli je to web rozhraní co jsem psal pro API dostatečně intuitivní, co je potřeba předělat / doladit / doplnit a co případně napsat do nápovědy. Pár věcí už jsem díky tomu odhalil.

Pokud máte Arduino Microlog, PHP Microlog, nebo jakékoliv MQTT zařízení a chtěli byste se zapojit jako testeři, ozvěte se do soukromé zprávy.

A jen pro info: pokud vás bude v první vlně hodně, mám právo si vybrat, koho do testování zařadím (ať ty nápady, připomínky… nebo hejty zvládnu ukočírovat a ideálně hned odladit).

Veřejná část která jen zobrazuje je připravena "zatím" ve vývojové verzi zde (pro Frenkyho elektrárnu): https://grafy.mypower.cz/doubravicka/

Díky!

[lzahradil]

A další tester to zvládl komplet naklikat sám a viditelně ten základ funguje.

[TomHC]

Chýba mi v tom GUI možnosť ukázať connection detaily pre mqtt neskôr ako ihneď po vytvorení.

Ešte musím prísť na to, ako budem posielať dáta cez MQTT. Asi cez mqtt klienta na db serveri...

[Mex]

Sorry, jestli se ptám blbě a přehlídl jsem to.
Ale nevidím nikde specifikaci, jak má fungovat interface přes MQTT.
Je k tomu někde nějaký popis, případně příklad?

Cesta přes otevřené MQTT mně připadá perspektivnější, protože je HW i systémově nezávislá.
A je možné snadno fungování ladit a ověřit univerzálními nezávislými nástroji.

Díky.

[lzahradil]

MQTT část je koncipovaná jako otevřená a HW-nezávislá.
Data odesíláš na MQTT broker buď v JSON formátu (ten je doporučovaný, protože umožňuje odeslat více hodnot v rámci jednoho časového intervalu), nebo jako samostatné topicy.
Rozhraní data rozebere na jednotlivé metriky, které si pak přiřadíš do grafů nebo s nimi dále pracuješ.
Nad metrikami je možné vytvářet i virtuální výpočtové metriky. Pokud ti tedy chodí například napětí a proud, můžeš si vytvořit metriku „výkon“, definovat vztah U * I a navázat ji na příslušné vstupní metriky.
Příklad JSON varianty:

Kód: Vybrat vše

topic: u/u1/<device_id>/metrics
payload:
{
  "voltage": 52.4,
  "current": 18.2,
  "power": 945
}

nebo jednotlivé topicy:

Kód: Vybrat vše

u/u1/<device_id>/voltage
u/u1/<device_id>/current
u/u1/<device_id>/power

<device_id> je libovolný identifikátor zařízení (např. axpert, teplomer_obyvak apod.).

Dokumentace teprve vznikne až bude rozhraní doladěné. Zatím je stále ve vývoji a některé věci se ještě mohou měnit na základě zkušeností z testování.
Až se to ustálí, sepíšu kompletní specifikaci (topic strukturu, doporučené formáty, příklady použití atd.). Ale základ je již teď přímo v GUI.

Snad jsem tě s odpovědí uspokojil

[Mex]

Paráda. Díky.

[Mex]

Všechno už běží a prvním testerům jsem dal přístup schválně bez vysvětlování. Chci zjistit, jestli je to web rozhraní co jsem psal pro API dostatečně intuitivní, co je potřeba předělat / doladit / doplnit a co případně napsat do nápovědy. Pár věcí už jsem díky tomu odhalil.

Pokud to byl test, jestli to potenciální uživatelé pochopí, tak já jsem propadl.
V dokumentaci na webu jsem se sice dozvěděl kde koupil LCD displej pro Arduino nebo jak stáhnout vývojové prostředí Arduino, ale už jsem se nedozvěděl kde je vstupní bod pro nějaké zprovoznění nové pokusné instalace Microlog a jak se do ní přihlásit.
Stejně jako to, jestli když se tam píše o předělání PHP micrologu, tak jestli už to funguje nebo je to popis toho, co bude fungovat až někdy.
A jestli pro MQTT přístup se bude používat Microlog nebo PHP microlog.

Uznávám, že jsem natvrdlý na zkoumání "jak to autor asi myslel".
Je pro mě často jednodušší si nějaký SW napsat sám než zkoumat, jak se má používat něco už hotového.
Takže asi nejsem ten správný testovací vzorek.

Škoda, mohl by to být dobrý nápad, nějaký logovač s jasným a jednoduchým MQTT rozhraním. Snad někdy později.

[lzahradil]

Jen pro upřesnění, ať se bavíme o tom samém:

Microlog je historicky název původního logování/vizualizace. Data se původně posílala z Arduina, později vznikl i phpmicrolog (stejný protokol, jen jiný "klient"). Z pohledu serveru je to jen zdroj dat (Arduino / phpmicrolog).

V nové verzi jsem postavil příjem dat znovu od nuly a umí víc zdrojů – jednak ten původní microlog protokol, a navíc nově i MQTT aby se dalo používat univerzálněji k logování všeho možného.

Co se týče grafů: v původní verzi se grafy dělaly ručně (admin psal skripty pro konkrétní elektrárnu).

U MQTT to funguje tak, že data odesíláš na MQTT broker (topicy/payloady).
A to nové GUI klikátko je právě o tom, že si pak v rozhraní jen vybereš / doplníš topic (případně klíče z JSON payloadu), tím si vytvoříš metriky, a ty metriky pak naklikáš do grafů

Pokud je pro tebe jednodušší si něco napsat sám, napiš si to.
Nikdo nikomu nic nenutí, kdo nemá zájem, nereaguje.

[Mex]

Promiň, nebylo cílem Tě naštvat.
Jen jsem psal, že prostě nemám talent na pochopení, jak něco autor myslel.
Já vím, jak funguje MQTT, napsal jsem nad tím už několik vlastních aplikací. Proto mě taky ten projekt Microlog zaujal.
Ale nevím, na jaký broker a s jakou identifikací uživatele to posílat.
Co je prosím nové GUI klikátko? Pokud je k tomu nějaký GUI interface, který já nemám/nevím kde je, tak to je možná ten základní problém.
Ve Tvém postu v tomto vlákně žádný odkaz na něho nevidím. Nebo špatně hledám?

[lzahradil]

Neboj se, mě jsi nenaštval
Ale když už, tak stačí číst...

Pokud máte Arduino Microlog, PHP Microlog, nebo jakékoliv MQTT zařízení a chtěli byste se zapojit jako testeři, ozvěte se do soukromé zprávy.

A jen pro info: pokud vás bude v první vlně hodně, mám právo si vybrat, koho do testování zařadím (ať ty nápady, připomínky… nebo hejty zvládnu ukočírovat a ideálně hned odladit).

[Mex]

Aha, díky za info.

[wacko]

Když už se to předělalo na InfluxDB (v 2 ?), tak proč nepoužít InfluxDB Line Protocol a nekrmit data přes telegraf ? Nějaký problém se zabezpečením ?

[lzahradil]

Telegraf je víc pro single řešení (jedna elektrárna nebo jeden server), kde si člověk na jednom místě nastaví sběr a sypání dat do Influxu.

My ale řešíme víc elektráren a hlavně víc uživatelů/zařízení. Proto jde všechno přes MQTT broker, kde má každé zařízení vlastní login a broker pustí data uživatele jen do jeho "prostoru" na základě ACL. Tím je oddělení dané už na vstupu.

Kdybych do toho nasadil Telegraf, tak by z něj byl v podstatě "univerzální sběrač", který má následně plný přístup do Influxu na základě tokenu.
A to je přesně to, čemu se chci vyhnout. Influx nemám ani v plánu otevírat ven. Takže ano, bezpečnost.

[wacko]

V influxu by ale šlo mít více Organizations tj. uživatelů takže by měli vlastní prostor a tokeny.

[lzahradil]

To by technicky šlo, to máš pravdu.
Ale vznikl by z toho úplně jiný projekt. Influx hosting - veřejné databázové úložiště bez jakékoliv kontroly.

My chceme vizualizovat data z našich elektráren a né zajišťovat prostor pro data.

[wacko]

Kdyby byla webová vrstva, která by členům vytvářela organizaci a token, tak by to bylo pod kontrolou. Nejsem si ale jistý jestli má infuxdb takové api. Jen si tu tak nahlas přemýšlím.. Každopádně Grafana je dobrá cesta , bude možnost pak i sdílet/vyměňovat nástěnky přes JSON model?