Servery kolabují jako zralé švestky

Tento týden kolem nějak hromadně kolabují servery. Zálohujete? V pondělí ráno zkolaboval centrální server jednoho klienta s CentOS 5.1 x64, poškozený filesystém, naštěstí jen na kořenovém disku, zatímco /home s daty v mirroru byl nedotčen.

Koupilo se pár komponent a dal jsem se osobně do instalace. První byla vyzkoušena fungl nová Fedora 9 x64. Po ruční konfiguraci síťových karet a rozdělení disků se to nějak rozběhlo, ale v polovině instalace (rozbalování balíčků z DVD) Fedora vytuhla. Jen tak, prostě systém umřel. Tak se instalace zopakovala, a napodruhé už proběhla korektně.

První spuštění a po chvíli při yum update nastal kernel panic. Systém prostě zkolaboval. Po restartu jsem to zkusil znovu, aktualizace Fedora 9 o velikosti 320MB se nakonec stáhla a nainstalovala (včetně nové verze kernelu), nakonfiguroval jsem iptables pro sdílení připojení k internetu, DHCP server, Sambu pro Windowsovské stanice, NFS a fstab na další servery. Hodinu to bylo ok, ale pak celý systém zatuhnul. Neobjevilo se proč, log prázdný, prostě totální výtuh nestabilního zmetkovitého open-source Linuxu.

Nakonec se na serveru pracovalo do 04:00 do rána, skončil tam opět (s řadou dobastlených a ručně dokompilovaných komponent) CentOS 5.1 x64 (což je vlastně komerční RedHat) a nějak to jede. Problém byl jen starý 2.6.18 kernel, s novými komponentami nejel, takže se musel ručně kompilovat vanilla kernel a dělat na něj RedHat patche.

Internetový firewall a sdílení, plus DHCP server se vyřešil přes Zyxel router, na serveru zůstala jen Samba a interní Wiki pro dokumenty.

Přijedu domů a volá mi člověk z Megablog.it (v Itálii největší blogovací komunitní systém, kam se hrabe blog.cz či bloguje.cz), že zkolaboval a nemají zálohu. O hardware se jim stará nějaká "profesionální" italská organizace, a průser je, že jediná jejich "záloha" je z února, zatímco celé RAID-5 serveru šlo do kytek. Na serveru byl ReiserFS, tedy filesystém od usvědčeného vraha, a zkolaboval.

Takže příštích pár dní to bude opět práce do noci, záchrana dat, migrace na nový CMS, ručně nastavovat co se dá. A já se už tak těšil na prázdniny (dovolenou) a odpočinek :-( A teď mě omluvte, jdu si odzálohovat své vlastní RAID-5.