Wattstatistiky dočasně OFF

[honzaL]

Zdravím admina a přeji hodně sil do nového dne.

Mám problém na fóru s oblastí Uživatelského panelu a SZ. Mám tam dvě zprávy na nemůžu se k nim dostat (čímž se zároveň omlouvám pisatelům, že jsem jim dosud neodpověděl). Chybu pošlu e-mailem adminovi, až budu v práci má li zájem.

Přeji hodě sil k dalšímu vývoji.

[mypower.cz]

Tak .. jsem zde s reportem:

vypada to ze problemu je mnoho a bohuzel jsem ve fazi ze vyresim jednu zalezitost a v te souvislosti hned na to muzu resit 2 dalsi, ktere z toho vyplynou. Budu sprosty: Je to kurva uz naposrání! Opet budu slusny. Takze napln dnesniho dne od rana do noci byla prepis kodu pro zobrazovani online stavu uzivatelu na hlavni strance vcetne nekolika souvisejicich veci - uz to konecne zas jede, prihlaseny ma cache 1x30s, neprihlaseny (pze je jich obvykle mnoho) 1x2minuty, tyhle statistiky jsou oproti foru presnejsi, protoze forum planta dohromady boty (vyhledavace) a registrovane uzivatele coz je nesmysl. Bylo potreba to take prepsat, aby se obnovovani neprovadelo pomoci iframe ale jednotne na cele hlavni strance vse reloadovat pomoci jednoho XMLHttpRequestu a zacal jsem prave s tim radkem s online uzivateli. Z casti hotovo prave pro ten radek s online statistikama na hlavni strance a take je pres tohle nove reseno zobrazeni informace na hlavni strance o tom, ze prisla nova SZ - tzn puvodni funkcnost zpet v provozu, jen proste technologicky uplne jinak. Pres tenhle zpusob reloadu budu hrnout i obnovovani novych prispevku, zobrazenych temat, stavu mereni, tabulky vychodu/zapadu slunce a vse ostatni. Nyni je to reseno pomoci nekolika iframe, coz samozrejme zvysuje zatez na server protoze se obnovuje nekolikrat vice veci v nekolika HTTP dotazech misto jednoho jedineho.

Zitra bude na rade reload prispevku do sloupce na hlavni strance, pak mereni a grafy, pak wattstatistiky. Nevim jak dlouho to bude trvat, prosim tedy komunitu o strpeni a pokud skutecne nekdo muze zaslat dobrovolny prispevek, tak ted je skutecne vhodna prilezitost, protoze verte tomu, ze to me nasazeni je opravdu extremni, pokud ma tenhle projekt fungovat, nezbyva mi moc casu na shaneni prijmu jinde a verte tomu, ze to delam pro to, aby jste vy vsichni ostatni meli po ruce obrovske knowhow, kontakty, dobre ceny, chytre FVE systemy, bazarové ceny za produkty v bazaru, vyhodne vyprodeje od i4wifi a zkratka delam to z velke casti pro vas. Pro predstavu jak moc prace to je - dneska jsem nemel ani cas si od rana udelat jidlo, protoze to chci mit za kazdou cenu stuj co stuj zase v plne parade funkcni vcetne novych wattstatistik, ultra rychlych grafu a perfektnimi odezvami celeho systemu.

Zobrazovani grafu z mereni je tedy docasne take off, jsou tam potreba take znacne upravy. Mereni jako takove ale funguje a data se stale zapisuji, jen se nezobrazuji. (Zobrazuji, ale je to radeji schovano). S ohledem na prispevky na provoz davam ale znacnou prioritu tem, kteri letos prispeli a prispivaji, ostatni, nebo ti, kteri vubec neprispeli - je mi lito, ale maji smulu. Je mozne ze nektera data chybi, protoze doslo k nekolika restartum serveru (k memu velkemu zklamani jsem musel pozadat o restart po 402 dnech uptime), mam ale samozrejme zalohy, data dokazu opravit, ale skutecne dle priorit a dle vasi podpory pro server.

Dobrou zpravou je ze se rysuje mozna novy kolega na spoluvyvoj mypower.cz, vcetne na me pomery vcelku brutalniho HW zazemi.

[mypower.cz]

Tak jeden update pro zajemce kdo si pamatuje tento prispevek

Archiv vsech merenych FVE pred optimalizacemi:

Kód: Vybrat vše

[root@server3]# du -sh fvlog
3.9G   fvlog

Stejna data po znacnych datovych optimalizacich a vhodnych upravach zpracovavani dat z ruznych druhu mereni:

Kód: Vybrat vše

[root@server3]# du -sh fvlog
786M   fvlog

Je dost rozdil, jestli se v pameti serveru sachuje s 3.9G dat, nebo z necelym gigem.. Tak ci tak.. stale bude potreba nejmene napriklad dva roky stare data nekam archivovat, zabalit a oddelit od ziveho systemu, s rostoucim poctem FVE to muze byt za par let opet narocnejsi. Za par let.. Nicmene uz vim s cim predem pocitat.

[mypower.cz]

Report:

Hotovo:
- přesunuto na novou VPS do Prahy,
- objeveny a opraveny dve velmi uzke mista z pohledu vykonu
- zatez a interni zpracovani dat je nyni mozno plne rozlozit mezi 4 geograficky oddelene servery (Zlin, Napajedla, Praha, Trutnov).

K reseni:
- zobrazovani grafu, panelu s merenim FVE a wattstatistik, doladeni www rozhrani a renderingu grafu mimo hlavni server na libovolnem serveru v clusteru podle nejnizsiho vytizeni.

Vyhody:
- samozrejme od ted diky prepsani SW se naskytaji obrovske moznosti skalovani vykonu kdykoliv prostym pridanim a nastavenim noveho serveru (teoreticky donekonecna)
- moznost vice logovacich serveru. Kuprikladu Microlog si bude umet vybrat ten (z pohledu site) nejblizsi server (podle odezvy) a na ten logovat (logX.mypower.cz), kdyz se mu to nepovede, zkusi dalsi, X=1 az "pocet serveru".


Ad opravy uzkych mist:
at je legrace, vsichni se zasmejte, pri kazdem reloadu se nacitala konfigurace vsech FVE (potud v pohode) a v me konfiguraci me FVE se pri prilezitosti generovani online prehledu s vizualizaci me chaty pokazde (i kdyz to nebylo potreba) prochazely, hledaly, tridily, porovnavaly me denni wattstatistiky (asi 1mega v GZIPu v JSONu.) a hned pak se ty data zahodily, protoze v 99% pripadu nebyly k nicemu potreba. Generovani hlavni stranky tak obsadilo 70 - 190M mista v ram, kazde jednotlive generovani. Jakmile se lizlo o swap, bylo to jak kdyz za jizdy v aute zatahnete rucni brzdu a slapnete zaroven jeste na normalni brzdu a i na plyn. Ted jsem na 9MB na generovani hlavni strany a pri plnem vyuziti cache asi na 250 .. 500 ms pro generovani. Jeste to ale srazim. Dokazal jsem se za jistych okolnosti dostat az na 35ms. Nejradeji bych si naliskal, ale bylo to tak sikovne schovane, ze se to dalo najit az vylucovaci metodou, a bylo to tam pridano v dobe, kdy to vykonnostne nedelalo absolutne zadne problemy s tim, ze do budoucna se to nejak vyresi.. Tak budoucnost prave nastala..

Ad servery:
v priprave je i 5. server - muze bezet u nejakeho dobrovolnika - spotreba asi 25W a ukolovani podle technickych moznosti pripojky, a 6. server - ten bude asi jako druhy u me na chate ), praci prebira automaticky vzdy ten nejmene vytizeny. HW infrastrukturu je nyni mozno donekonecna rozsirovat jednoduchym pripojenim a instalaci dalsiho stroje (VPS, fyzicky server, MiniPC i na bezne pripojce (pro vypocty), nebo treba i Raspberry Pi s debianem (pro rizeni a jine vhodne ukoly)




Prazska strojovna, ktera vam prave ted poslala tuhle stranku:





Jeste neni uplny konec boje .. jeste to bude par dnu trvat, nez to bude uplne ok.
S nejakymi zasadnimi vypadky uz ale nepocitam. Doufam

[Palča]

Gratulace.
Až budeš mít minutku tak se ozvi. Nestíháš brát mobil, nebo jsi ho v tom zmatku ztratil ?

[JML...]

Super prace s klastrovanim!
Jeste by sme tu vsichni mohli prispet nejakym watikem na provoz, kdyby to bylo mozne posilat paketama po ethernetu...

[PavelR]

... paketama po internetu jdou poslat nejake ty kacaky. V podstate to je taky komprimovana podoba energie ...

[mypower.cz]

Report:

Hotovo

- homepage se uz komplet opet automaticky obnovuje a tentokrat jen v jednom HTTPXMLRequest dotazu oproti nekolika rozhazenych ruzne v iframe. Setri to nejen zatez serveru, ale i vase domaci pripojeni

- obnovovani homepage pro neprihlaseneho 1x za 2 minuty, prihlaseny 1x za 30 sekund. Je to leckdy k veceru dosti zive staci to nechat na NTB, obcas projit kolem a pocist co je noveho ..

Todo

- no konecne grafy ... ja jak to nevidim, tak drtivam baterky az na 22, jak jsem zjistil po nedavnem letmem pohledu jednou takhle asi ve 4 rano na vystup z me commandline utilitky, ktera u me dava dohromady z vicero zdroju napeti a proud, hodi do bufferu a pokud jde, posila buffer jedno po druhem tak jak to slo v case na mypower.cz. Ano .. jsem liny pripojit voltmetr .. radeji si na to napisu script, ktery mi to vycte z vellemana a arduina

- wattstatistiky ... to uz pujde rychle ...

no zrychluje se to ponekud .. protoze uz ta infrastruktura zacina nabyvati nejaky solidni tvar a napsanou mam na to commandline utilitku s priznacnym nazvem mpw, ktera resi moc krasne veci, se kterymi bych se jinak rucne jebkal milion let Pro ukazku pro spise IT znale lidi ... (nesmat se mi za anglictinu.. snazim se ):

Kód: Vybrat vše

[root@ntb]# mpw help
mypower.cz web commandline control
type help for help.
DEVELOP mode.
----------------------------------

HELP
syntaxe: mpw <command> [params] [-v]

--- CRONMAP ---
       
--- cron@s1 ---

--- cron@s2 ---

--- cron@s3 ---

--- cron@s4 ---
       
--- cron@s5 ---

*/2         *   *  *  *   reloadphpbbusers -rep -upload -cron2
0     6,12,18   *  *  *   reloadshop -all -upload -masterdb -cronD
       
--- commands ---

help
        - this help

reloadphpbbusers [-rep]
        - reloads phpbbbusers
        - -rep          use replication db
        - -upload       do upload after finished when not on master server
       
reloadshop [(<sellername>|-all)] [-upload] [-masterdb]
        - reload shop
        - -all          reload all sellers.
        - -upload       upload images to master server
        - -masterdb     use master db

searchindex
        - create productsearch index table
       
update wattlog
        - wattlog update - automatic mode

upload wattlog
        - upload wattlog to master server using rsync
       phpbbonline
        - upload phpbb online stats to master server
       extlastdata
        - upload cmsdata/graphs/fve-*/lastdata-ext/* to master server
       shopimages
        - uploads shop images to master server

wattlog [fvename] [-reset] [-nocache] [-rep] [-test]
        - batch wattlog updating
        - -reset        recalculate full FVE archive
        - -nocache      skip cache lock interval
        - -rep          use local replication db (3315)
        - -test         dont write anything. Only test.
        - -all          process all FVEs
        - -threads=N    run max N threads
        - -maxload=F    limits cpuload to float - def:3
        - -upload       do upload after finished

        ~ available for server5 and develop.
        ~ cron runs on server5

render fvename gtype ginterval gsize xtime xformat [-v]
        - render graph (testing). Possible values for
          each parameter can
        - be showed by omitting the parameter.
        - -v verbose

weblog [-masterdb] [-upload]
        - weblog data loading
        - -masterdb     use master server db for write
        - -upload       do upload ext lastdata after finished
                        if not on master server

        ~ available for server5 server3 and develop.
        ~ cron runs on server5

updatevoltage [fvename] [-all] [-masterdb] [-test]
        - update voltage tables
        - -all       run for all fves
        - -test      readonly
        - -masterdb  use production db

        ~ available for server3 and develop.
        ~ cron runs on server3

updaterrd [fvename] [-all]
        - update rrd files using replication tables
        - -all       run for all fves
        - -test      readonly
        - -masterdb  use production db

        ~ available for s4, s5 and develop.
        ~ cron runs on s4, s5

cleanup
        - clear old files and expired data

--- system ---
       
-v verbose
-f force run - ignore watchdog


--- internal ---

disttest
        - run pre-distribution tests and return result.
        - first result line contains OK or something else when error.
        - next lines contains errors or some messages.



[#]

A trebas vypocet wattstatistik na jednom ze serveru zcela mimo hlavni server:

Kód: Vybrat vše

[root@server5]# mpw update wattlog
mypower.cz web commandline control
type help for help.
----------------------------------

MyPower Setup...
Run date: 13.3.2014 13:47:12
Server: server5
Load: 0.02 0.05 0.09
Using replication db.
Checking replication db.
   IO: expected: ok. status: ok
  SQL: expected: ok. status: ok
sTIME: expected: <1200. status: 0
Replication @127.0.0.1:3315 is OK.
Connected to: 127.0.0.1:3315
Threads mode. Max threads: 6
CPU load limit: 3
FVEs to do: 35
Threads: 0 []
--- [13:47:12] load: 0.02 0.05 0.09
Creating thread: mypower @ load 0.02
Threads: 1 [mypower R+ 0:00]
Creating thread: 007tommas @ load 0.02
Threads: 2 [mypower R+ 0:01, 007tommas R+ 0:00]
Creating thread: blesk @ load 0.02
Threads: 2 [mypower S+ 0:01, 007tommas S+ 0:00]
Creating thread: burda @ load 0.02
Threads: 2 [mypower R+ 0:01, 007tommas R+ 0:00]
Creating thread: dlabas @ load 0.02
31
Threads: 3 [mypower R+ 0:02, 007tommas R+ 0:01, dlabas R+ 0:00]
Creating thread: drama @ load 0.02
Threads: 4 [mypower R+ 0:03, 007tommas R+ 0:02, dlabas R+ 0:00, drama R+ 0:00]
Creating thread: edasky @ load 0.34
Threads: 5 [mypower R+ 0:03, 007tommas R+ 0:02, dlabas R+ 0:01, drama R+ 0:00, edasky R+ 0:00]
Creating thread: forum @ load 0.34
28 (1.5 per second, remains: 18.67 sec.)
Threads: 5 [mypower R+ 0:04, 007tommas R+ 0:03, dlabas R+ 0:01, drama R+ 0:01, edasky S+ 0:00]
Creating thread: frenky @ load 0.34
Threads: 6 [mypower R+ 0:04, 007tommas R+ 0:03, dlabas R+ 0:02, drama R+ 0:01, edasky R+ 0:00, frenky R+ 0:00]
Threads: 6 [mypower R+ 0:05, 007tommas R+ 0:04, dlabas R+ 0:02, drama R+ 0:02, edasky R+ 0:01, frenky R+ 0:01]
--- [13:47:18] load: 0.34 0.11 0.11
Threads: 6 [mypower R+ 0:06, 007tommas R+ 0:04, dlabas R+ 0:03, drama R+ 0:03, edasky R+ 0:02, frenky R+ 0:01]
Threads: 6 [mypower R+ 0:06, 007tommas R+ 0:05, dlabas R+ 0:04, drama R+ 0:04, edasky R+ 0:02, frenky R+ 0:02]
Threads: 5 [mypower R+ 0:07, 007tommas R+ 0:06, dlabas R+ 0:05, drama R+ 0:04, edasky R+ 0:03]
Creating thread: goodbie @ load 0.79
26 (0.33 per second, remains: 78.79 sec.)
Threads: 6 [mypower R+ 0:08, 007tommas R+ 0:06, dlabas R+ 0:05, drama R+ 0:05, edasky R+ 0:03, goodbie R+ 0:00]
Threads: 5 [mypower R+ 0:09, dlabas R+ 0:06, drama R+ 0:06, edasky D+ 0:04, goodbie S+ 0:00]
--- [13:47:24] load: 0.79 0.21 0.14
Creating thread: honzal @ load 0.79
25 (0.5 per second, remains: 50 sec.)
Threads: 6 [mypower R+ 0:09, dlabas R+ 0:06, drama R+ 0:06, edasky R+ 0:04, goodbie S+ 0:00, honzal R+ 0:00]
Threads: 5 [mypower R+ 0:10, dlabas R+ 0:07, drama R+ 0:07, goodbie R+ 0:01, honzal R+ 0:01]
Creating thread: ivo12s @ load 1.13
24 (0.5 per second, remains: 48 sec.)
Threads: 6 [mypower R+ 0:10, dlabas R+ 0:07, drama D+ 0:07, goodbie R+ 0:02, honzal R+ 0:01, ivo12s R+ 0:00]
Threads: 5 [mypower R+ 0:11, drama R+ 0:08, goodbie R+ 0:03, honzal R+ 0:02, ivo12s R+ 0:00]
Creating thread: jirikt @ load 1.13
23 (0.5 per second, remains: 46 sec.)
Threads: 5 [mypower R+ 0:12, goodbie R+ 0:03, honzal R+ 0:02, ivo12s R+ 0:01, jirikt R+ 0:00]
Creating thread: marec3k @ load 1.13
Threads: 6 [mypower R+ 0:12, goodbie R+ 0:04, honzal R+ 0:03, ivo12s R+ 0:01, jirikt R+ 0:00, marec3k R+ 0:00]
Threads: 5 [mypower R+ 0:13, goodbie D+ 0:05, honzal R+ 0:03, ivo12s R+ 0:02, jirikt R+ 0:01]
--- [13:47:30] load: 1.6 0.4 0.2
Creating thread: matejbrtnik @ load 1.6
21 (1 per second, remains: 21 sec.)
Threads: 4 [mypower R+ 0:14, goodbie R+ 0:05, ivo12s R+ 0:03, jirikt R+ 0:01]
Creating thread: mixman @ load 1.6
Threads: 2 [ivo12s R+ 0:03, mixman R+ 0:00]
Creating thread: mypowerwh @ load 1.6
Threads: 2 [ivo12s R+ 0:04, mixman S+ 0:00]
Creating thread: rimimodbus @ load 1.6
18 (1.5 per second, remains: 12 sec.)
Threads: 2 [mixman R+ 0:01, rimimodbus R+ 0:00]
Creating thread: marsov @ load 1.6
Threads: 3 [mixman R+ 0:01, rimimodbus R+ 0:01, marsov R+ 0:00]
Creating thread: breznik @ load 1.6
Threads: 4 [mixman R+ 0:02, rimimodbus R+ 0:01, marsov R+ 0:01, breznik R+ 0:00]
Creating thread: ostry @ load 1.6
15 (1.5 per second, remains: 10 sec.)
Threads: 5 [mixman R+ 0:02, rimimodbus R+ 0:02, marsov R+ 0:01, breznik R+ 0:01, ostry R+ 0:00]
Creating thread: sdstest @ load 1.6
Threads: 5 [mixman R+ 0:03, marsov R+ 0:02, breznik R+ 0:01, ostry R+ 0:00, sdstest S+ 0:00]
Creating thread: sumwh @ load 1.95
Threads: 5 [mixman R+ 0:03, marsov R+ 0:02, breznik S+ 0:02, ostry R+ 0:00, sdstest R+ 0:00]
--- [13:47:36] load: 1.95 0.49 0.23
Creating thread: tomas01 @ load 1.95
12 (1.5 per second, remains: 8 sec.)
Threads: 6 [mixman R+ 0:03, marsov R+ 0:03, breznik R+ 0:02, ostry R+ 0:01, sdstest R+ 0:01, tomas01 R+ 0:00]
Threads: 6 [mixman R+ 0:04, marsov S+ 0:04, breznik R+ 0:03, ostry R+ 0:01, sdstest R+ 0:01, tomas01 S+ 0:00]
Threads: 6 [mixman R+ 0:05, marsov R+ 0:04, breznik R+ 0:03, ostry R+ 0:02, sdstest R+ 0:02, tomas01 S+ 0:00]
Threads: 5 [mixman R+ 0:05, marsov R+ 0:05, breznik R+ 0:05, ostry R+ 0:02, tomas01 S+ 0:00]
Creating thread: tytycko @ load 2.28
Threads: 6 [mixman R+ 0:05, marsov R+ 0:05, breznik R+ 0:05, ostry R+ 0:03, tomas01 S+ 0:00, tytycko R+ 0:00]
Threads: 6 [mixman R+ 0:06, marsov R+ 0:06, breznik R+ 0:06, ostry R+ 0:04, tomas01 S+ 0:00, tytycko R+ 0:00]
--- [13:47:42] load: 2.28 0.59 0.26
Threads: 5 [marsov R+ 0:07, breznik R+ 0:07, ostry R+ 0:05, tomas01 S+ 0:00, tytycko R+ 0:01]
Creating thread: ulog007tommas @ load 2.28
10 (0.29 per second, remains: 34.48 sec.)
Threads: 6 [marsov R+ 0:07, breznik R+ 0:07, ostry R+ 0:05, tomas01 S+ 0:00, tytycko R+ 0:02, ulog007tommas R+ 0:00]
Threads: 5 [marsov R+ 0:08, breznik R+ 0:08, ostry R+ 0:06, tomas01 S+ 0:00, tytycko R+ 0:02]
Creating thread: ulog2bynov @ load 2.57
9 (0.5 per second, remains: 18 sec.)
Threads: 5 [marsov R+ 0:09, breznik R+ 0:09, ostry R+ 0:06, tomas01 S+ 0:00, tytycko R+ 0:03]
Creating thread: ulog2devtest @ load 2.57
8 (1 per second, remains: 8 sec.)
Threads: 4 [marsov R+ 0:09, breznik R+ 0:09, ostry R+ 0:07, tomas01 S+ 0:00]
Creating thread: ulog2dlabas2 @ load 2.57
Threads: 5 [marsov R+ 0:09, breznik R+ 0:10, ostry R+ 0:08, tomas01 S+ 0:00, ulog2dlabas2 R+ 0:00]
Creating thread: ulog2frenky @ load 2.57
Threads: 4 [marsov R+ 0:10, breznik R+ 0:10, ostry R+ 0:08, tomas01 S+ 0:00]
--- [13:47:48] load: 2.57 0.68 0.3
Creating thread: ulog2jarik @ load 2.57
5 (1.5 per second, remains: 3.33 sec.)
Threads: 4 [marsov R+ 0:10, breznik R+ 0:11, ostry R+ 0:09, tomas01 S+ 0:00]
Creating thread: ulog2marec3k @ load 2.57
Threads: 5 [marsov R+ 0:11, breznik R+ 0:11, ostry R+ 0:10, tomas01 R+ 0:00, ulog2marec3k R+ 0:00]
Creating thread: ulog2ostrovpodebaby @ load 2.57
Threads: 6 [marsov R+ 0:11, breznik R+ 0:12, ostry R+ 0:10, tomas01 R+ 0:01, ulog2marec3k S+ 0:00, ulog2ostrovpodebaby R+ 0:00]
Threads: 5 [marsov R+ 0:12, breznik R+ 0:12, ostry R+ 0:11, tomas01 R+ 0:02, ulog2marec3k S+ 0:00]
Creating thread: ulogkrizradek @ load 2.77
2 (1 per second, remains: 2 sec.)
Threads: 5 [marsov R+ 0:12, breznik R+ 0:13, ostry R+ 0:12, tomas01 R+ 0:02, ulog2marec3k S+ 0:00]
Creating thread: ulogmarec3k @ load 2.77
1 (1 per second, remains: 1 sec.)
Waiting for last threads ...
Threads: 6 [marsov R+ 0:13, breznik R+ 0:13, ostry R+ 0:12, tomas01 R+ 0:03, ulog2marec3k R+ 0:01, ulogmarec3k R+ 0:00]
Threads: 5 [marsov R+ 0:13, ostry D+ 0:13, tomas01 R+ 0:03, ulog2marec3k R+ 0:01, ulogmarec3k S+ 0:00]
--- [13:47:54] load: 2.77 0.75 0.32
Threads: 5 [marsov R+ 0:15, ostry R+ 0:14, tomas01 R+ 0:04, ulog2marec3k R+ 0:02, ulogmarec3k R+ 0:01]
Threads: 5 [marsov R+ 0:16, ostry R+ 0:14, tomas01 R+ 0:05, ulog2marec3k R+ 0:03, ulogmarec3k R+ 0:02]
Threads: 4 [marsov R+ 0:16, tomas01 R+ 0:06, ulog2marec3k R+ 0:05, ulogmarec3k R+ 0:02]
Threads: 4 [marsov R+ 0:17, tomas01 R+ 0:07, ulog2marec3k R+ 0:06, ulogmarec3k R+ 0:04]
Threads: 3 [marsov R+ 0:18, tomas01 R+ 0:08, ulogmarec3k R+ 0:05]
Threads: 3 [marsov R+ 0:20, tomas01 R+ 0:09, ulogmarec3k R+ 0:06]
--- [13:48:00] load: 2.95 0.85 0.36
Threads: 2 [marsov R+ 0:21, tomas01 R+ 0:10]
Threads: 2 [marsov R+ 0:22, tomas01 R+ 0:11]
Threads: 2 [marsov R+ 0:22, tomas01 R+ 0:12]
Threads: 2 [marsov R+ 0:24, tomas01 R+ 0:13]
Threads: 1 [tomas01 R+ 0:14]
--- [13:48:06] load: 2.79 0.86 0.36
Threads: 1 [tomas01 R+ 0:15]
Threads: 0 []
Full exec time: 56 sec, 409.3759 msec


[mypower.cz]

Ahoj, mnozi se mi dotazy ohledne toho, kdy pojede mereni. Zcela opravnene se ptate, trva to, priznavam. Je spousta veci, ktere s prechodem na novou SW infrastrukturu musim poresit a doladit, ale prace se uz dosti chyli k zaveru a uz brzy bude hotovo. Rekneme cca tyden az maximalne v extremu 14 dnu. Chystam se o cele problematice pak publikovat i radu, verim ze dosti zajimavych a poucnych clanku pro ponekud IT znalejsi lidi, ohledne clusterizace mypower.cz, tak uvidim

Prosim o strpeni a pochopeni, ze nad celym projektem travi cas v soucasne dobe stale jen jediny programator. V kazdem pripade prioritou pro me za celou dobu je, aby zapis do databaze z dat, ktere zasilate, fungoval bez ohledu na nevykreslovani grafu, nicmene data v databazi jsou. Rekl bych ze o maximalne 2 dny jsme prisli kvuli vypnutemu logovani, (ja urcite o 3 kvuli omylem zastavenemu vycitani dat z me FVE - v ramci me chaty - tedy ne vlivem serveru) ale mimo tuto dobu logovani celou dobu jede, protoze mi na stole blika muj testovaci microlog a ten loguje uplne stejne tak, a kdyz neloguje, tak se zmeni blikani stavove led a ja o tom vim prakticky hned, pokud jsem u PC. Tudiz nezoufejte, vase data budou i zde vykreslena, ale jeste musim skutecne par veci odladit, nez to pustim. Verte tomu, ze samotnemu me to vadi, nebot jsem jak slepy co se meho FV systemu ted tyce. A to se me samotnemu nelibi.

Pro ukazku .. jeden ze serverovych uzlu, ktery bude soucasti takove infrastruktury, na kterou je kladen duraz na maximalni uptime, loadbalancing zateze a dalsimi featurami vypada schematicky takto:

http://s5.mypower.cz/_/servery/node5.png

Je tak umozneno napriklad wattstatistiky pocitat mimo hlavni server, grafy zcela jinde, zdrojem dat muze byt bud lokalni databaze na konkretnim uzlu, nebo vzdalena replikacni databaze na libovolnem nejmene vytizenem uzlu. Stav vytizeni celeho systemu a jeho jednotlivych uzlu se zjistuje kazdych 5 minut a podle toho se preorganizuje chovani systemu a pridelovani prace mezi ostatni uzly, ktere nejsou master server. Kdyz se s jednim ze serveru neco stane, tak se nic nedeje, protoze system si najde dalsi dostupny (celkem jeden ze 6ti) a zkratka prezije. Je docela zajimave sledovat jak se system skutecne snazi prezit, kdyz mu behem testovani zamerne ublizuji a ruzne zastavuji a poustim replikovane databaze a zjistuji, jestli se to spravne chova. Muze se jednat o chybu HW, vyhoreny PC zdroj, selhani disku, selhani zakladove desky, zaseknuti ventilatoru a prehrati CPU, vypadek pripojeni k jednomu z uzlu chystajicich data pro hlavni server, renderujici grafy, nebo konajici jakekoliv jine cinnosti potrebne pro mypower.cz zatimco hlavni server v klidu a bez vyrusovani kreslenim grafu a vypocty, serviruje jednu stranku za druhou z PHPBB tak jak (obcas v souctu velmi aktivne) klikate - obzvlaste kdyz nekdo na nejaky navstevovany server hodi link odkazujici na nejake zhave tema na mypower.cz

Co vsak stale zustava a asi zustane v teoreticke rovine je to, kdyz se takto autonomni system, ktery prave delam, diky napriklad nemoznosti sitoveho spojeni (malo pravdepodobne) rozdeli na 2 v podstate ostrovni systemy. Vytvori si v ramci preziti oba jednoho "sefa" - master server, protoze o tom druhem prezivsim ten zbytek nebude vedet a takove mastery si od takoveho okamziku zacnou zit plne svym zivotem (v IT terminilogii se to nazyva fork). Data tak budou neslucitelna, IDcka stejna ale s jinym obsahem. Toto by byl problem, ale resit to budu az pojedou wattstatistiky, grafy a mypower bude zase technicky v plne kondici. Mimochodem rozpuleni takto autonomnich systemu jsem resil i na abclinuxu sveho casu mezi tamnimi odborniky a mam pocit (uz je to davno) ze jsme k zadnemu rozumnemu a bezchybnemu reseni nedosli, nez pak slozita kombinace dat a predelani ID nejlepe manualne.

A tak tedy tak nejak z vyvoje. Prijel jsem dnes z Brnenske prednasky, zitra musim pripravovat linuxovy server pro jistou firmu, protoze musim byt i z neceho ziv, tak az pozitri zase zacnu intenzivne s pracemi na mypower.cz.

Ad clusterizace, jsem si vedom toho, ze objevuji kolo a takova reseni jiste existuji jiz hotova avsak obavam se, ze silne komercni a treba urcite RedHat neco takoveho ma, ani bych se nedivil, ale bude to stat jako hotove reseni urcite nehorazne penize. No vzhledem k tomu ze to pro me osobne napsane na miru pro me potreby a potreby jeste jinych mych projektu obnasi asi mesic a pul casu psani software, tak kaslu na drahe komercni reseni s placenym supportem a napisu si to zkratka sam

[vata]

Zdravím a zcela chápu - já sama si taky řeším podobný systém i když ne tak ambiciózní (data v mém řešení mají zůstat nehostovaná venku, nýbrž přímo v srdci FVE) a je až k nevíře, jak se taková v zásadě jednoduchá zábavka může rozrůst v bohatý projekt s několika technologickými vrstvami a s velmi masivní optimalizační logikou, obstarávající použitelnost objemově významých datových množin i na chudinkách typu Raspberry PI
A stačí malý projekt pro někoho jiného, a myšlenky se rozutečou... Teďka třeba takové daňové přiznání, že ano...
No, držím palce, ať se dílo povede

[brumlaj]

(data v mém řešení mají zůstat nehostovaná venku, nýbrž přímo v srdci FVE)

výborně vato, držím pěsti, toto je dle mého mínění ta pravá cesta - decentralizace. Nemít u sebe zdrojová data je špatně.

[mypower.cz]

vata i brumlaj .. zcela souhlasim.. a proto ma nove pripravovana verze micrologu i SD kartu jako primarni uloziste a moznost stahnout data z ni pres www rozhrani micrologu.

[mypower.cz]

Mam dobre zpravy, tento vikend (tedy max do dvou dnu - sobota nebo nedele) uz bude fungovat opet i mereni a i nove wattstatistiky ...



Ztraty dat sice nejake jsou ale nebude to asi tragicke.

Moje data:


Drama


Marsov:


Frenky ulog:


EDIT: u nekterych mereni (2) jsme zaznamenali problem s prechodem hlavniho serveru mypower.cz na novou IP. Nektere merici zarizeni nebyly schopny detekovat zmenu IP a stale posilaji na puvodni server, ktery je ale uz ted skoro pripraven na reinstalaci, takze na nem uz skoro nic nebezi. Doporucuji kontrolu, zdali vase zarizeni odesila. Micrology s timto nemaji problem. Pri delsi nemoznosti kontaktovat mypower.cz a delsi nekorektni odezve logovaciho serveru dojde k SW restartu micrologu, coz zpusobi nacteni novych DNS zaznamu.

[mypower.cz]

Report:

Prvni testovani nove clusterizovane verze grafu a mereni a wattstatistik

Clusterizovane ve smyslu schopne bezet na libovolnem z geograficky oddelenych a nakonfigurovanych serveru, fungujicich stale nad cerstvymi a aktualnimi daty, replikovanymi z hlavniho serveru.



Live data

Napajedla:
http://s5.mypower.cz/fve-mypower

Frenkyho microlog:
http://s5.mypower.cz/fve-ulog2frenky

Dramuv kokonin:
http://s5.mypower.cz/fve-drama

007tommasovy Luky:
http://s5.mypower.cz/fve-007tommas

Zbytek musim zitra donastavit, protoze se zmenil format konfigurace FVE, vice jsem se priblizil moznosti udelat na veskere nastaveni klikatka, aby si majitele mereni mohli konecne ledacos naklkat sami bez cekani na me upravy.

Nejake chybky tam jeste jsou.. takze jeste to neni uplne ok a budu rad, kdyz se tu sejdou nejake bugreporty a ruzne postrehy.

Vylepseni

Znacne jsem vylepsil a zprehlednil VUmetry. Drive byly 4 hodnoty a 2 VUmetry, ktere obvykle u kazde FVE ukazovaly neco jineho a ani ja jsem se v tom nakonec nevyznal, ktery VU co ukazuje. Cim vice VUmetru, tim vice ledek . Ruznych VUmetru je k vyuziti siroka paleta Udelal jsem to tedy skinovatelne. Uz ted mi tam chybi vhodny VU pro venkovni teplotu z modre (pro body teploty pod nulou) pres bilou led uprostred pro 0 st.c. a s cervenymi led vpravo pro teploty nad nulou. No v podstate kdokoliv muze pri zachovani pozice a velikosti led, se kterymi se pocita, vytvorit novy skin pro novou sadu 18ti VU metru At zije kreativita...

Proc tomu rikam VU metr? Ani nevim.. Kdesi se to tak jmenovalo, tak to tak mam zafixovane.. A pritom VU metry jsou rucickove http://en.wikipedia.org/wiki/VU_meter

Pridal jsem moznost zobrazit poslednich 10 vzorku - dole na panelu je odkaz Zobrazit posledni data. Ladim podle toho VU metry u dalsich FVE.

Nove a uplne doaleluja rozbalitelne wattstatistiky. Vpravo nahore na panelu s merenim jsou strucne wattstatistiky a pobliz je odkaz Detaily > Tak toto zobrazi opravdu detaily do te nejmensi mrtě ..

Jeste jedna nova feature oproti puvodni verzi - chytremu napovez...
http://s5.mypower.cz/fve-mypower,ulog2frenky,drama,007tommas

Co je to s5.mypower.cz?

s5.mypower.cz je toto miniPC s touto spotrebou na 13VDC
D525MW Intel(R) Atom(TM) CPU D525 @ 1.80GHz
nejsou to fyzicky 4 jadra, ale hyperthreading, tedy logicke jadra.

Bezi to na debianu na domaci nesymetricke pripojce s uploadem nekolikanasobne mensim nez downlad, pro server nevhodne, ale vzhledem k ucelu to je svizne dostatecne Potvrzeno z ruznych mist v CR

A toš tak ...

[mypower.cz]

Report:

Měření na hlavní stránce částečně ON.

TODO:

a) U některých FVE nemám dokonfigurovány nové měřáky. Zobrazují hodnoty, ale leddiody nesvítí. Bude...
b) Dokončit součet výroby všech FVE a pořadí vytížení FVE.
c) Klikátko pro svépomocné nastavování panelů s měřením.

FAQ:

Co znamená to blikání leddiod?
Poslední změnu, která stojí nejméně alespoň za jednu leddiodu. Bliká až do doby další změny. Pokud změna nebyla velká alespoň na jednu leddiodu, neblikáme.

Dole v řádku je občas @s5, @s4. Co to je?
To je výsledek měsíce a půl práce a téměř dokončená clusterizace mypower.cz, alébrž rozložení zátěže mezi geograficky oddělené servery. Teď pokusně každou lichou a sudou minutu to jde jinam. Práce se dělí mezi hlavní server mypower.cz a s5.mypower.cz. Co nevidět přibude s1, s2, s3 a s6 a rozložení zátěže ne na liché a sudé minuty, ale podle skutečného vytížení serverů v clusteru

Wattstatistiky - bude k tomu nějaký manuál?
Bude.

EDIT:

jak tak sleduju, dneska se asi posunoval cas, ze ?



Sem myslel ze pujdu jeste nejak slusne spat a ejhle.. hodina z niceho nic v haji. 22, 00, 03, 05 ... Premyslim jak se s tim popasuji wattstatistiky. Dnes bude hodina chybet, tzn napriklad u me bude DC spotreba o tu hodinu mensi, ovsem jak bude posun casu zase zpet, tak se ten vykon asi nakumuluje nekdy mezi 2 - 3 rano a bude asi dvojnasobny. No jen takova poznamka, at to zkontroluju co to dela


BUG1: zda se ze zmena kalkulovane hodnota wio u moji FVE (bilance mezi vyrobou a spotrebou) nejak zobrazuje blbiny.. spotreba -49W, to je ok, ale zmena 130W je v tuto chvili blbost. jn.. stale je co resit .. jeste to samozrejme doladim, a vitam dalsi postrehy a pripadne nesoulady, divne hodnoty, atd ..

BUG1: fixed. uz by to melo byt ok.

[Felix]

Ahoj ,

ono to bude real-time ? Že to tak vypadalo před chvilkou , už ne , už se to nehejbe

[mypower.cz]

Otázka jak moc realtime:) Na "realtime" vizualizace bude později určen projekt PathEditor.

[Felix]

Jasně , pěkně jsi to rozblikal hned to má jinej šmrnc i když to přesně neodpovídá ( hlavně že to vypadá jako že se něco děje ) Napětí stabilní jen proud lehce kolísá

[JiříK]

Hezké, moc hezké! Pro mě, zavilého analogáře, jsi prostě kouzelník.

[Frenky]

Také se mi nový a vyvoněný Mypower líbí. Konečně zase můžu sledovat, jak to jede ostatním a jak mně a co já mám blbě oproti jiným. Zvláště "VU metry" jsou pěkné a přehledné. A grafy, to je parádička Konečně se ve všem vyznám.