Update na 10.04 (64bit) - zvyseny load, slow queries

[techynal]

Zdravim vsetkych,

chcel by som sa spytat miestnych odbornikov, ci sa nestretli s problemom po update Ubuntu na 10.04. Stara verzia v9 bezala na serveri stabilne, load sa pohyboval na urovni do 0.3, vsetko krasne bezalo, slow queries s casom 3 sekundy boli za den ojedinele, proste vsetko to krasne bezalo. Ked vysla nova verzia, server sa prehodil na novu verziu, vsetko sa zdalo, ze bezi.

Problem nastal ale uz od prveho dna, sice bezalo vsetko co malo, ale samotny load sa zacal z nicoho nic pohybovat na urovni okoo 1.0, miestami cez den skoci dlhodobo na 2.0, slow queries MySQL s casom 5 sekund sa robia kazdu minutu, niekedy aj 5 za minutu. Vsetky veci, ktore sa pouzivaju su aktualne, pravidelne sa aktualizuju. Mysleli sme, ze problem by mohol byt s kernelom, ale rozhodli sme sa prehodit na posledny kernel, ktory je pre 64-bit Ubuntu pristupny, ide o nejaku RC3 verziu a aj napriek tomu, ze je to RC3, rozhodli sme sa toto riziko podstupit. Okrem toho sme standardny MySQL server prehodili na Prescota Server, co by mal byt opatchovany MySQL server, config je upraveny na vyssiu zataz s vyssimi limitmi, takze maximalne vyuzije az 6GB pamate (z celkovych 8GB), je upravovany pod MySQLtunera. Ked pozeram PhpMyAdmin, tak niekedy prevysi pocet spojeni 100, pride mi to ako taky maly utok na server, ktory za par sekund opadne, neviem si to vysvetlit, mozno je to len zlyhanie MySQL alebo co.

To vsak nase problemy nevyriesilo, pocas dna sa niekolkokrat z nicoho nic spravi akesi hluche obdobie, ked server napriklad na dobu dvoch minut ma load 15, zacnu sa robit slow queries, ktore sa robia ale pocas celeho dna. Databaza, ktoru vyuziva web ma okolo 1.5GB, je to MyISAM v MySQL 5.1. Podotykam, ze pred updatom Ubuntu islo vsetko krasne.

Vytazenie procesoru je male, napokoj je tam Core i7-750, takze vykonu je na rozdavanie.

Okrem bezneho weboveho servera+ftp (proFTPd) tam bezi uz len Counter-Strike server, nic ine. Teda nie je tam ziadny mail server, DNS server ani nic podobne.

Stretol sa niekto s podobnym problemom alebo dokazal by pomoct pri analyzovani tohto problemu? Budem vdacny za kazdu radu. Dakujem!

[Tomáš Břinčil]

Nevim proč provádíte update, je to asi určitá daň.
Doporučuji čistou instalaci.

[techynal]

Cista instalacia by bola asi zlozitejsia, kedze je server skoro 250 kilometrov daleko odo mna v serverovni.

[Tomáš Břinčil]

Cista instalacia by bola asi zlozitejsia, kedze je server skoro 250 kilometrov daleko odo mna v serverovni.

Nevim co je složitější, udělat čistou instalaci nového systému (ok, někdo to tam prostě za to kilčo udělá, jde jen o instalaci z CD, 30min času), nebo řešit milion problémů?

[techynal]

A co v pripade, ze by som aj siel do tej serverovne a spravil cistu instalaciu, potreboval by som sa rozhodnut, ci ist do 9.04 alebo 10.04 a kedze s desiatkou mam zle skusenosti, tak by som bol pred zlozitou otazkou.

[Tomáš Břinčil]

Nevim v čem je to složité, stačí zvážit co Vám vyšší verze přinese. Já používám ubuntu na webserver, takže pokud bych chtěl zůstat na PHP 5.2, tak je pro mě zbytečné instalovat novější distribuci. 9.04 ještě podporovaná je. Na serverech mám právě 9.04. Ale je to na vás, repozitáře asi rozhodnou co bude vhodnější...

[techynal]

Pouzivam PHP 5.3

[Tomáš Břinčil]

Pouzivam PHP 5.3

Samozřejmě pro to budete mít důvod, tak 10.04 bude jasná volba

[Armus69]

Skuste sledovat, který proces to tahle vytěžuje, top by měl postačit, neswapuje to ? co říkají logy apache ?( třeba utok spambota na webformuláře), ddos ? , u nonsteam cs jsem u některých modů (paintball a zombie) vídával podobné chování.

  Někde to musí být vidět.

[techynal]

CS je bez modov, swap ziadny. Logy Apachu nic zaujimave nehovoria, navyse sledovat log Apachu zo servera, ktory vygeneruje 100 000 denne by bolo trochu zlozite.

Problem je, ze aj ked sledujem top v case, ked sa to stane, tak tam nic nevidiet, ze by bola nejaka zataz.

[attachment deleted by admin]

[Tomáš Břinčil]

Jde o ten proces, který to vytěžuje.
Z grafu to nikdo nepozná...

[techynal]

To je mi jasne, ze to z grafu poznat nejde. Problemom je zistit, ze ktory proces to robi, pretoze sediet hodiny nad tym a cakat, kym sa to stane..., ale tak zhodou okolnosti sa mi stalo nieco podobne teraz pred polnocou, bol som lognuty a tak som hned dal top. Problemom je, ze tam ziadny proces nie je ani nebol, co by to naznacoval.

[attachment deleted by admin]

[ETNyx]

Tady nepůjde o nedostatek procesorového času, který se snažíte pomocí top odhlait.

Zkusil bych se podívat na I/O operace, to by mohlo způsobit slow queries i zvětšení load. Zjistit je můžete třeba pomocí htop. V setup(F2) vložíte zobrazování IO a F6 vyberete podle čeho řadit F4 případně zvolíte sestupně/vzestupně.

EDIT: i v top je vidět hodnota %wa cca 3 což by mělo být: 4. wa -> iowait: Amount of time the CPU has been waiting for I/O to complete.
zdroj : http://www.seoforclients.com/hr/top/

případně ješte je možno použit jednodušší nástroj iotop

[techynal]

Takze podla toho co pises, by to mohlo byt sposobene diskom a cakanim na disk? Je tam WD Raptor, teda Velociraptor a pred prechodom na 10.04 to islo v pohode.

[ETNyx]

Může to být jedna z věcí která to způsobuje, ale taky něco jiného. Z toho co o tom problému víme ti asi nikdo přesně neřekne co to je. Ono to ani nemusí být způsobené přechodem na novou verzi. Stalo se mi, že na server příšel nový uživatel a začal se zvyšovat Load a další statistiky (poměrně dost). Do mysql databáze později ukládal, četl a updatoval stovky MB dat denně. Samozřejmně absolutně neoptimalizované dotazy typu "SELECT * FROM xxx WHERE 1=1" a data která potřeboval vyhledával na úrovní PHP. Tabulky bez indexů,.. Takže všchny hodnoty pro mysql a ostatní vyletěli nahoru. Což znamenalo, že se data často načítala z disku a né z paměti -> zvýšení operací I/O (a čěkání na jejich dokončení) -> zvýšení Load.

jiný úhel pohledu:
Třeba je to způsobeno zužením linky která je používána. Někdo na Vás útočí, ty pakety třeba firewall zahodí, ale už tam není místo na ty uživatelské tak se musí chvíli čekat než dojde celá informace. A nebo taky ne :-D a je to opravdu tím přechodem na nové Ubuntu, nějaký nestandartní přístup k nějakému zařízení a je to hned.

[techynal]

Ziadne weby ani ine aplikacie sa na server nepridali, bezi tam asi 5 webov, z toho jeden velky, ktory ma rovnake scripty, je to pouzity isty system, ktory je optimalizovany a pred updatom boli predchadzajuce mesiace uplne v pohodicke, load v zatazi bol 0.2, uplne ciste grafy bez nejakych narastov a narazov, proste hladky chod servera. Potom prisiel update a hned po restartne od updatovania Ubuntu sa zvysil load na 1.0 a tak to ide az do dnesneho dna. Este pockam asi na Ubuntu 10.04.1, ktore by malo byt k dispozicii koncom jula, hadam tam pride aj odladeny Kernel a potom sa uvidi. Ak to bude rovnake, asi bude nutne si spravit jednodnovy vylet a ist to komplet preinstalovat.