Servery kolabují jako zralé švestky

MyEgo.cz

home foto blogy mywindows.cz kontakt

Servery kolabují jako zralé švestky

Linux 26.06.08

Tento týden kolem nějak hromadně kolabují servery. Zálohujete? V pondělí ráno zkolaboval centrální server jednoho klienta s CentOS 5.1 x64, poškozený filesystém, naštěstí jen na kořenovém disku, zatímco /home s daty v mirroru byl nedotčen.

Koupilo se pár komponent a dal jsem se osobně do instalace. První byla vyzkoušena fungl nová Fedora 9 x64. Po ruční konfiguraci síťových karet a rozdělení disků se to nějak rozběhlo, ale v polovině instalace (rozbalování balíčků z DVD) Fedora vytuhla. Jen tak, prostě systém umřel. Tak se instalace zopakovala, a napodruhé už proběhla korektně.

První spuštění a po chvíli při yum update nastal kernel panic. Systém prostě zkolaboval. Po restartu jsem to zkusil znovu, aktualizace Fedora 9 o velikosti 320MB se nakonec stáhla a nainstalovala (včetně nové verze kernelu), nakonfiguroval jsem iptables pro sdílení připojení k internetu, DHCP server, Sambu pro Windowsovské stanice, NFS a fstab na další servery. Hodinu to bylo ok, ale pak celý systém zatuhnul. Neobjevilo se proč, log prázdný, prostě totální výtuh nestabilního zmetkovitého open-source Linuxu.

Nakonec se na serveru pracovalo do 04:00 do rána, skončil tam opět (s řadou dobastlených a ručně dokompilovaných komponent) CentOS 5.1 x64 (což je vlastně komerční RedHat) a nějak to jede. Problém byl jen starý 2.6.18 kernel, s novými komponentami nejel, takže se musel ručně kompilovat vanilla kernel a dělat na něj RedHat patche.

Internetový firewall a sdílení, plus DHCP server se vyřešil přes Zyxel router, na serveru zůstala jen Samba a interní Wiki pro dokumenty.

Přijedu domů a volá mi člověk z Megablog.it (v Itálii největší blogovací komunitní systém, kam se hrabe blog.cz či bloguje.cz), že zkolaboval a nemají zálohu. O hardware se jim stará nějaká "profesionální" italská organizace, a průser je, že jediná jejich "záloha" je z února, zatímco celé RAID-5 serveru šlo do kytek. Na serveru byl ReiserFS, tedy filesystém od usvědčeného vraha, a zkolaboval.

Takže příštích pár dní to bude opět práce do noci, záchrana dat, migrace na nový CMS, ručně nastavovat co se dá. A já se už tak těšil na prázdniny (dovolenou) a odpočinek :-( A teď mě omluvte, jdu si odzálohovat své vlastní RAID-5.


Komentáře

  1. 1 Petr Havlíček 26.06.08, 01:19:52
    FB

    Mě v pondělí taky odešel disk. Naštěstí v mirroru, takže pohoda. Včera v CZC hned vyměnili za nový a ve středu ráno už vše zase fungovalo.

  2. 2 Vratislav Harabiš 26.06.08, 01:41:02
    FB

    Jediná odpověď. Data týkající se disertačky mám na čtyřech různých discích. Ve škole na dvou, doma na PC a ještě na externím :-)

  3. 3 fixinko 26.06.08, 08:40:09
    FB

    no neviem, ja pouzivam na linuxe ext3, xfs, jfs, na solarise/bsd ufs, zfs a zatial okrem jedneho pripadu (ale to bolo zapricinene failnutim jedneho disku v raid5 a dalsi sa chystal failnut) som nemal ziadne problemy :-). Mozno to bude tym reiserFS co sa pouzival :-)

  4. 4 Jakub Bouček 26.06.08, 15:54:41
    FB

    Přidávám se ke článku. Za posledních 14 dní jsem musel řešit 4 problémy se stroji klientů. 3 případy z toho byly HW rázu a jen jeden selhání neudržovaného systému.

  5. 5 John Boy 26.06.08, 18:55:42
    FB

    Radku, jakým způsobem zálohujete? Externí disk? Já přemejšlím o 1TB externím disku od WD s firewire, je teď za velice příznivou cenu včetně backup synchronizačního software. Na mých 750 giga dat by to stačilo i s tou nějakou menší rezervou.
    Přecejenom, DVD média už jsou trošku out.

  6. 6 Radek Hulán 26.06.08, 19:05:21

    [9] v PC je RAID-5, pak externí disk (týdenní backup) a důležitá data i na 50GB Blu-Ray

  7. 7 Ondřej Šindler 26.06.08, 20:17:43
    FB

    vy taky? Poslední týden jsem rád když mi naběhnou windows.

  8. 8 Petr Havlíček 26.06.08, 21:05:46
    FB

    Není kolabs serverů způsoben i tím vedrem? Tento týden jsem četl na stránkách jedné firmy na záchranu dat, že jim nosí lidé více disků z důvodu horka.
    Ono když se disk nechladí a je nějak nešikovně umístěn, může se zahřát i tak, že se na něm nedá udržet ruka a to disků asi moc neprospívá.

  9. 9 Jozef Bacik 27.06.08, 20:53:34
    FB

    [12] V domacím prostředí to může být teplem. Ne však v klimatizovaných serverovnách, kde je server určitě umístněn. Disky odcházejí běžně, některé nevydrží ani 6 měsícu.

Nový komentář

Pro přidání komentáře se musíte nejdříve  registrovat Facebookem

Banan.cz