Serverová farma MyPower.CZ

[mypower.cz]

Hoj, zakladam toto tema jako informacni o deni kolem serverove infrastruktury MyPower.CZ, ktera se rozrusta do lehce obludnych rozmeru, ale pracuje se s tim znacne lepe nez kdy drive a troufnu si ted na daleko vetsi legrace, nez kdy drive...

Neni tomu tak davno, co jsem zprovoznil novy server s2.mypower.cz .



Napajeno z DC rozvodu, zalohovano baterii, i proti prudkym ubytkum na DC rozvodech, protoze jinak by dochazelo k restartum a to znamena obvykle dost problem s konzistenci replikovanych dat z hlavniho serveru.

Tento server bude stejne jako ostatni slave servery (s1,s2,s3,s5,s6 a s7)
- servirovat grafy,
- predpocitavat wattstatistiky, teoreticka maxima a minima
- zobrazovat wattstatistiky
- zobrazovat panely s merenim jednotlivych FVE
- synchronizovat data z externich shopu,
- stahovat si data z logeru, ktere ocekavaji, ze si mypower.cz sam sahne na data, nikoliv, ze logger posila data na mypower.cz,
- sledovat okolni sitovou infrastrukturu, udrzovat lokalni integritu databaze a neustale stahovat cerstva data z hlavniho serveru (momentalne s4),
- byt pripraven kdykoliv zastoupit jiny slave v chybovem stavu
- umet si sahnout do databaze na jiny slave, pokud lokalni databaze je nekonzistentni, nebo neaktualni
- umet si sahnout do databaze na hlavni server az v tom krajnim pripade, pokud neni v dosahu zadny slave s databazi v poradku
- diky behu totozne aplikace jako na hlavnim serveru byt pripraven se kdykoliv stat nahradnim master serverem a zacit servirovat i forum a hlavni stranku
- parsovat prichazejici data z logeru, ukladat je do databaze v potrebnem formatu na hlavni server odkud jsou data replikovany na ostatni slave servery
- zobrazovat stav logovani a online/offline stav loggeru, zasilajicich data z ruznych FVE na mypower.cz
- aktualizovat lokalni rrd soubory z dat z mereni ulozenych v mysql databazi, rrd jsou potrebne jako zdroj dat pro kresleni grafu
- sledovat aktivitu na foru a predchystavat pro hlavni server
-- tydenni prehledy
-- online stav uzivatelu / botu / registrovanych / neregistrovanych a tuto informaci zobrazovat na hlavni strance
-- feed pro hlavni stranu (ma kazdy uzivatel svuj, podle opravneni na foru a pristupu do neverejnych casti fora)
-- feed poslednich zobrazenych prispevku

jeden ze slave serveru (aktualne s5) slouzi jako webserver pro malo vytizene projekty, napriklad wiki.mypower.cz, wiki.patheditor.mypower.cz, patheditor.mypower.cz, microlog.mypower.cz a nektere dalsi bokovky

Pozorny sitar jiste zbystri a rekne Admine .. ty jeden mystifikatore co nam to tu placas, vzdyt v DNS zaznamech mas ze s2 je CNAME na s4. Takze s2 je vlastne tvuj hlavni server. Zdanlive ano, realne nikoliv. Jelikoz s2.mypower.cz je fyzicky u me na chate, je zde situace s pripojenim leckdy znacne divoka a promenliva, tak jak se vyviji situace v 5ghz pasmu tady v okolnim prostoru. Nekdy je potreba zmenit providera, a neni moznost mit verejnou IP. s2.mypower.cz je tedy skr VPN spojeni na privatni siti s s4.mypower.cz - hlavnim serverem a ten preposila provoz urceny pro s2.mypower.cz skrz VPN tunel ke me na chatu, kde ho s2.mypower.cz zpracuje, pozadavek vyridi a posle vam data do prohlizece zpet skrz VPN a data vypluji ven na internet ze sitoveho rozhrani hlavniho serveru. Hlavni server tak nema tu nejvetsi zatez, jen preposila data a dela tak vlastne prostrednika mezi internetem a fyzickym umistenim s2.mypower.cz kdesi za privatni siti.

Komunikace pres VPN mezi s2 a s4 je komprimovana, takze o cosi by to melo tou wifi linkou litat rychleji, jsou to preci jen snadno komprimovatelna HTML data... no a grafy v PNG .. tak tam se komprese uz moc neuplatni, tam uz s tim moc nenadelam.

Schematicky to vypada nasledovne:



s6, je v priprave, predbezne domluveno, uvidime, nevim ani jake jsou v miste sitove podminky, jakakoliv linka je pouzitelna, vypocetni vykon se hodi vzdy, zaloha taky, provoz z internetu neni nezbytne nutne resit ze slave serveru, na rychle vyrizovani pozadavku (zejmena hlavni stranka a forum) je hlavni server, nikoliv domaci linky, ty jsou na obcasny a nenarocny provoz, napriklad zobrazeni grafu, nebo samostatneho panelu s merenim, statistik vyroby a spotreby (wattstatistiky) a jine cinnosti na pozadi, napriklad vypocty atd...

s7 je tady u me na chate u zdi, a je schopny fungovat jako server. Zatim nevim o vhodnem umisteni, pokud je nejaky dobrovolnik, ktery by po dohode poskytl kus sve el.energie a zlomek sve konektivity k provozu projektu mypower.cz a ujmul se s7.mypower.cz, necht se mi ozve do SZ

s3 stale ceka na vyklizeni a reinstalaci cerstveho debianu po tech masakrech pred nekolika mesici, ktere dostaval vlivem souhry spousty okolnosti ale diky cemuz byl mypower.cz znacne posunut ve vnitrnim vyvoji kupredu (a ja na tom malem vypustil dusi a prisel o nervy a zhubl tak 10 kilo).

Schema napajeni s2.mypower.cz je takoveto:



Vychazel jsem z toho co bylo po ruce, jeden Y-PWR a jedno PICO-PSU

Baterie neni dobijena. Je na ni 12.5 v nezatizenem stavu. Na DC rozvodech mam 12.6, 12.8, jak kdy. Tohle pres diodu baterii nenabije. Diodu potrebuji nejmene kvuli tomu aby mi baterie nenapajela DC rozvody pri jejich vypadku ale skutecne jen to minipc. Proto jsem zvolil Y-PWR. Idealnim, i kdyz drahym resenim, by bylo koupit od miniboxu nejaky DC UPS modul. To by bylo opravdu pekne .. V tomto stavu spise premyslim nad nejakym DCDC menicem, ktery by mi z napeti na DC rozvodech (rekneme at je to velke ten rozsah, tak 11-16) vyrobil 13.8-14.7 ? nebo aspon 14 a po dobiti baterie vypnul, protoze jinak by pri nabijeni baterie z DC rozvodu a zaroven ponechani vyse nakresleneho zapojeni, bylo minipc neustale napajene z toho DCDC menice, protoze by vytvarel silnejsi napeti, kteremu by Y-PWR dal prednost. Takze po dobiti baterie musi vypnout, baterie klesnout na rekneme 12.6, kdy pokud na DC rozvodech bude 12.7, prevezmou roli DC rozvody a baterie bude cekat na moment prekvapeni, kdy vykryje ubytek, nebo nejakou jinou neplechu na DC rozvodech a minipc si niceho nevsimne.

Spotreba se u me po uvedeni s2.mypower.cz do trvaleho provozu a jeho udrzeni v trvalem provozu, pohla nasledovne:



V patek rano jsem ho zapnul, od te doby jsem se rozhodl, ze pobezi trvale, jsem zvedavy co to udela v zime ta je ale daleko, i kdyz cas leti (cim dal rychleji). Serveru se tyka napeti na DC rozvodech a proud na DC rozvodech, tedy i12v a u12v, coz v soucinu da vykon. Ten skok nahoru (shift) a uz stav s trvale zvysenou spotrebou v patek je prave ten trvale bezici minipc serverik navic.

Ad serverova infrastruktura mypower.cz, neustale na tom makam, vcera se tu nachvili mihlo opet pocitani poradi vytizeni FVE, ale zjistil jsem problem, tak jsem to jeste stahnul a schoval, ladim to.

Vyzkouset v soucasnosti funkcni servery je mozno pomoci URL sX.mypower.cz, napriklad

Panel s merenim me FVE vygenerovany serverem s2.mypower.cz
http://s2.mypower.cz/fve-mypower
Panel s merenim frenkyho FVE vygenerovany serverem s2.mypower.cz
http://s2.mypower.cz/fve-ulog2frenky
Panel s merenim mixmanovy FVE vygenerovany serverem s2.mypower.cz
http://s2.mypower.cz/fve-mixman

Wattstatistiky me FVE vygenerovane serverem s2.mypower.cz
http://s2.mypower.cz/fveinoutlist-mypower
Wattstatistiky frenkyho FVE vygenerovane serverem s2.mypower.cz
http://s2.mypower.cz/fveinoutlist-ulog2frenky
Wattstatistiky mixmanovy FVE vygenerovane serverem s2.mypower.cz
http://s2.mypower.cz/fveinoutlist-mixman

Grafy vsech mereni generovane serverem s2.mypower.cz
http://s2.mypower.cz/cmsdata/graphs

Totez, ale generovano s5.mypower.cz

Panel s merenim me FVE vygenerovany serverem s5.mypower.cz
http://s5.mypower.cz/fve-mypower
Panel s merenim frenkyho FVE vygenerovany serverem s5.mypower.cz
http://s5.mypower.cz/fve-ulog2frenky
Panel s merenim mixmanovy FVE vygenerovany serverem s5.mypower.cz
http://s5.mypower.cz/fve-mixman

Wattstatistiky me FVE vygenerovane serverem s5.mypower.cz
http://s5.mypower.cz/fveinoutlist-mypower
Wattstatistiky frenkyho FVE vygenerovane serverem s5.mypower.cz
http://s5.mypower.cz/fveinoutlist-ulog2frenky
Wattstatistiky mixmanovy FVE vygenerovane serverem s5.mypower.cz
http://s5.mypower.cz/fveinoutlist-mixman

Grafy vsech mereni generovane serverem s5.mypower.cz
http://s5.mypower.cz/cmsdata/graphs

Pro doplneni prikladam jeste fotky hlavniho serveru v Praze s4.mypower.cz alébrž mypower.cz a brzy pridam s5 a snad se mi podari vyptat fotky i stroje v trutnove pokusim se Sam jsem ho jeste nevidel. Jen na SSH po siti





a nejake souvisejici povidani kolem toho

Tolik tedy report ohledne deni kolem serverove infrastruktury MyPower.CZ, jakmile bude dalsi info, budu tyto temata smerovat sem.

[lwq]

Pokud bys potreboval nejaky HW umistit jeste v jine siti, tak nabizim i misto u nas v siti, kde nezravej stroj (zadny stovky W) bude vitan ... Pripadne i u me doma - dostupnych je realne 300mbps+ (gigova sit) ... Myslim, ze jsme si na tohle tema uz psali ...

hodne zdaru a sily

[? brumlaj]

zkuste se chlapi domluvit na planovanem zeleze, napiste sem vysledek a treba ho sbirka napriklad na nejakych akcich pomuze realizovat,

[mypower.cz]

Zelezo je k dispozici, mam jeste 2 nevyuzite PC, ktere zahali, mozna by mohly misto zachytavace prachu u zdi delat u nekoho neco rozumnejsiho treba pocitat wattstatistiky, pripadne delat nejake i jine uzitecne legrace jako protisluzbu na oplatku vcetne vzdalene spravy (fileserver, mailserver, printserver, router, domaci server, specialni automatizace nebo vizualizace dat z FVE, vycitani dat z kde ceho v dosahu domaci site ...) . No a pak je jeste jedna moznost, ze pokud ma nekdo vhodne zahalejici zelezo, tak pote co mi projde rukama a instalaci systemovych veci, jsem schopen z neho udelat plnohodnotny serverovy node pro tenhle projekt Nemusi dokonce ani bezet trvale, muze bezet treba jako maly zuzitkovavac prebytku z FVE. Pak ale samozrejme je potreba resit korektni shutdown a automaticky boot pred koncem prebytku a pri zacatku prebytku z FVE. Takovy boot ale pak zpusobi dotazeni cerstvych dat, coz je trosicku skokovy narust downloadu a pak to jde relativne v klidecku, kdyz se pak data aktualizuji prubezne.

[? camel1cz]

Jestli máš nedostatek výkonu, tak ti můžu dát kus svého železa - teda virtuál na 4xXEON, 96GB RAM, 2TB RAID10, připojení 1Gbit do NIX... něco na něm běží, ale volné kapacity jsou.
Fyzicky je server na uzlu NIX v TCC v Tiskařské v Praze.

[mypower.cz]

Vykonu je ted dostatek, spise ted uz i nadbytek, ale tohle naddimenzovani se bude znacne hodit, prinejmensim za ucelem pokryti ruznych vypadku a drobnych problemu. Vicemene je tohle rozhozeni take za ucelem vyladeni geograficky rozhozene infrastruktury a v neposledni rade .. jednoduse kazi se vse a pokazit se muze kde co i to co se zdanlive pokazit nemuze. Kdyz vsak dokazu projekt udrzet na 99.99999999999% online a pokryt vypadky, tak budu mit radost a komunita take, grafy nebudou derave a projekt bude nadmiru dostupny a neznicitelny Coz je cilem.

Jakakoliv VPS se hodi pokazde. Muzeme se dohodnout pres SZ To by byla treti VPS. Jestli tenhle projekt neco znici, tak to pak jedine atomovka nad CR Mozna bych mohl jeste jednu VPSku zkusit nekde na druhe strane zemekoule pro tyto krajni pripady USA? Australie ?

BTW: musim se pochlubit.. od dnesniho dne ke me na chatu vedou 2 nezavisle wifi linky od dvou provideru Co myslite lidi, jsem dostatecne paranoidni ?

EDIT: nove zrizena wifi linka znamena na ostrovnim systemu energeticky tento rozdil:



v 8 rano jsem ji zapnul Je to 200W DCAC menic napajeny z 12V DC rozvodu kvuli tomu ze zatim nemam POE (power over ethernet) s DC vstupem. Co nejdrive to napravim. Ten menic sezere dle meho vice nez ta wifina za nim

[? JJ_SZJVSCH]

Fyzicky je server na uzlu NIX v TCC v Tiskařské v Praze.

Takže u Cendry?

[? camel1cz]

Nene, ono tam je hromady providerů - namátkou UPC, VSHosting, zmiňovaný SuperHosting atd. je to uzel NIXu, takže jak dělaný pro serverovnu.
Tenhle je u VS...

Btw. služby SH bývaly tak před 3 lety docela tragédie... fyzickou hotline drželi studenti, jednou jsem čekal v noci přes půl hodiny, než probudily hotline no teď už se směju

[mypower.cz]

Dalsi ze serverů: hrdina mypower.cz, v soucasne dobe specialista na rendering grafu:
s5.mypower.cz a v pozadi APC UPS backup pravdepodobne s timto vystupem

Intel D525MW

To je on



Slouzi jako klasicke desktopove PC, ale jelikoz naroky na neho z pohledu uzivatele desktopu jsou tak male, ze vecne nema co delat, tak se jeste bavi praci pro projekt mypower.cz V soucasne dobe pro vas tento serverik serviruje takrka vsechny grafy, ktere vidite na mypower.cz a maji dole v paticce "podpis" @ s5

Treba i tento:





Bohuzel je umisten v klasickem panelakovem najemnim byte, kde nejaka FVE nehrozi, takze je napajen atomovou a uhelnou energii a mozna i nejakou blizkou FVE s vykupem nebo zelenym bonusem. Brrrrrr .. chudak server, tohle musi jist

Ted bude zanedlouho ponekud tyran nedostatkem el.en. Mesto Zlin se rozhodlo provadet kompletni rekonstrukci el.rozvodu v tomto obrovskem panelovem dome s 12ti patry a 30 byty na kazdem patre. Jelikoz jeden z montazniku bude pravdepodobne i zdejsi JiriK, nebot pracuje ve firme, ktera realizaci elektro resi, tak ma s5.mypower.cz v podstate pod palcem z pohledu el. en. behem dvoudenni montaze el. v byte Tudiz JiriKu, seznamte se.. pokud tam budes, to je on.. a pokud se ti povede do te UPSky nacpat 230V wodnekud wod souseda, tak budes borec, ja tam asi v tu dobu nebudu a pokud to lehne, tak si alespon overim, jestli si system prepne grafy automaticky na s2 ke me na chatu, v te dobe snad uz plne zalohovany totalne redundantne dvouma nezavislyma wifinama od dvou provideru a zastoupi v tu chvili lehnuvsi s5, ktery v te dobe bude bez proudu.

Uz jsem uvazoval o tom, ze tam dovezu nabite AKU a hodim to na 2 dny na 300W menic no je to zbytecne, ted kdyz je s2 a dokaze ho pravdepodobne plne zastoupit .. No pravda se ukaze

[? PavelR]

to by chtelo nejakou medajli ... hrdina mypower ...

[mypower.cz]

Zdravím komunitu projektu MyPower.CZ.

Informací dnešního dne je stěhování projektu MyPower.CZ zpět na server v Trutnově, které proběhlo úspěšně dnes mezi 3-4 hodinou ranní. Zdá se že vše funguje jak má, přesto pokud by se někomu něco nezdálo, nechť mi dá vědět

IP adresa domény mypower.cz se změnila, proto prosím zkontrolujte své loggery, zasílající data na mypower.cz, zdali tuto změnu DNS záznamů zaregistrovali. Pokud ne, restart loggeru to jistě vyřeší.

Díky za pochopení a přeji spoustu slunce do panelů

[mypower.cz]

Právě jsem přidal nový server do geograficky odděleného clustru projektu MyPower.CZ

http://s6.mypower.cz



Inventura serverů projektu MyPower.CZ

http://s2.mypower.cz - slave - Napajedla (napájen z ostrovního systému FVE Napajedla)
Intel(R) Atom(TM) CPU D510 @ 1.66GHz, 2GB RAM

http://s3.mypower.cz - master - Trutnov
VMware Virtual Platform Intel(R) Xeon(R) CPU X5675 @ 3.07GHz, 2GB RAM

http://s5.mypower.cz - slave - Zlín - Jižní svahy
Intel(R) Atom(TM) CPU D525 @ 1.80GHz, 2GB RAM

http://s6.mypower.cz - slave - Zlín - Lesní čtvrť
AMD Athlon(tm) 64 X2 Dual Core Processor 4400+, 2GB RAM

mypower.dev - develop - Mobilní - Notebook
AMD E2-3800 APU with Radeon(TM) HD Graphics, 4GB RAM

slave - má za úkol zálohování databáze, kalkulaci wattstatistik, rendering grafů z měření FVE, synchronizaci eshopu, je schopen v případě extrémních situací plně zastoupit master server

master - odbavuje PHPBB, hlavní stránku, řídí přesměrování na slave servery pro vygenerování grafů a wattstatistik a dalších výstupů, posílá data slave serverům kvůli replikaci databáze projektu

develop - stejné funkce jako slave + navíc oddělený virtualhost i databáze pro vývoj mimo produkční prostředí - není vidět z vnějšího netu ale je schopen v případě extrémních situací plně zastoupit master server.

PS: pro abramse.... jj tento měl běžet u tebe, bude ještě jeden, jiný... napíšem si.

[jmachi88]

Zdravím. Mám hostingovou firmu a mohu také nabídnout desitky cpu, nějaké GB RAM a desítky TB HDD
Kdyby bylo potřeba, jsem k dispozici. Vše samozřejmě v DC na páteři.

[lzahradil]

no koukám že aktuálnost tohoto tématu je již značně zastaralá
Chtělo by to nějaký upgrade inventury