Proč jsou současné testy procesorů špatně? [2]

MyEgo.cz

Proč jsou současné testy procesorů špatně? [2]

PC Hardware 13.03.06

Když jsem před dvěma týdny psal o tom, proč jsou současné testy procesorů špatně, nenabídl jsem žádné zjevné řešení. Později, v testu současného nejlepšího procesoru s poměrem cena/výkon, tedy Intel Pentium D805, jsem Intel D805 testoval „jen“ pomocí PCMark04, PCMark05, 3DMark05 a 3DMark06. Je v tom nějaký rozpor? Nikoliv.

PCMark04 a PCMark05 - nejlepší možné testy CPU

Podle mého osobního názoru totiž problém testů procesoru jako celku dokonale vyřešila firma Futuremark právě svými PCMark04 a PCMark05 produkty. Toto totiž nejsou umělé testy, jsou dokonale navržené, navíc už v roce 2004 preferovaly multithreaded aplikace (a tím „znevýhodňovaly“ pomalé singlecore AMD oproti Intelu s HT, proto tyto testy milovníci AMD nemají rádi).

PCMark používá Microsoftí knihovny pro dekódování a enkódování WMV videa, zpracovává video také pomocí DivX knihoven, enkóduje do MP3 pomocí lame, používá standardní Windows knihovny pro kalkulaci 2D grafické rychlosti počítače a v neposlední řadě spouští řadu těchto testů současně, tedy zcela správně zvýhodňuje dualcore AMD/Intel procesory či Intel procesory s HT.

Oproti tomu třeba SvětHardware.cz používá v tomto článku poněkud nesmyslné testy jedné spuštěné instance WinRaru či lame enkodéru. Toto nám o procesorech moc neřekne, navíc málokdy si člověk spustí dekompresi souborů a nedělá už nic víc (Eagle nicméně následně testuje i 2 aplikace zároveň, to jej chválí, jen to není na co porovnat). Vtip je v tom, že se singlecore procesorem už nic dělat při dekompresi nemůžete, zatímco s dualcore sestavou můžete dále normálně pracovat. Řekne nám to tento test? Nikoliv.

PCMark04 a PCMark05 nám to ovšem řekne. Z mé praxe bych si dokonce troufnul tvrdit, že pokud se skóre v PCMark04/05 zvýší o 20%, Vaše práce v průměru, tedy její rychlost a efektivita, se zvýší o 20%. Jsou to prostě nejlepší testy CPU a vůbec PC jako celku (testován je například i mimořádně důležitý diskový subsystém).

Pár lidí rovněž namítá, že prý je PCMark04 optimalizován pro Intel. Není to pravda. Microsoft ani DivX nic pro Intel neoptimalizuje. IE6 není optimalizován pro Intel. A i kdyby byl, je to jednoznačná výhoda pro Intel v denní práci s PC, a měla by tudíž být zohledněna.

3DMark05 a 3DMark06 - nejlepší testy herního výkonu

3DMark testy dělá opět společnost Futuremark.com. Řada lidí tvrdí, že nutné je testovat jen a zásadně hry, a částečně mají pravdu. Otestovat 50 her a udělat z nich průměr je samozřejmě nejlepší možná varianta, bohužel extrémně časově náročná (a v běžné recenzi se tutíž nemůže zaplatit). Na řadu tedy přichází test, který používá ty samé technologie, co „průměrná hra“, a jeho výstupem je jedno poměrně rychle zjistitelné a snadno porovnatelné číslo.

3DMark05, a v ještě větší míře 3DMark06, angažuje do testu grafiky i CPU, a to ve značné míře, dokonce je pro výpočet fyzikálních modelů schopen používat speciální Ageia PhysX karty.

Testování skutečných her má i ta úskalí, že každá hra je jiná, méně či více závislá na CPU, a provést testy 3 až 4 her nevypovídá tudíž naprosto o ničem (respektive, při hodně nakloněných výsledcích na jednu stranu vypovídá o „šikovnosti“ recenzenta a snaze strhnout čtenáře na jeho pojetí procesorového boje či boje výrobců GPU).

Hry i 3DMark05/06 je zásadně nutno testovat v rozlišení minimálně 1280x1204, s FSAA 4x a AF 8x. Proč? Protože testy v rozlišení 640x480, jako je dělá PCTuning.cz, jsou zcela o ničem, ukazují nám rozdíly mezi procesory v případě, který v praxi nikdy nenastane. Copak někdo hraje v roce 2006 ve VGA rozlišení?

Argumentace těch, co tyto podivné testy provádějí je ta, že ve vyšším rozlišení je již systém limitiván spíše grafickou kartou, než procesorem samotným, což je nakonec pravda, ale o to právě jde - ve vyšším rozlišení, které se při hře skutečně používá, na procesoru téměř nezáleží. Že to poté neukáže „sílu“ AMD ve hrách? Neukáže, on Intel je totiž v praxi v podstatě stejně výkonný jako AMD i na hry, a podstatně výkonnější kdekoliv jinde.

příklad testování nesmyslu v rozlišení 640x480 na PCTuning.cz

Závěr

Co z toho vyplývá? Pokud čtete na různých IT webech testy procesorů, grafických karet, a dalších věcí, je dobré si položit otázku, co z toho testu vlastně vyplývá. Většinou je to velké … nic. Z mé osobní zkušenosti celkový výkon počítače významně koreluje s celkovým skóre v testech PCMark04 a PCMark05 a v případě her na CPU téměř nezáleží, jakékoliv CPU nad 4.000 Kč je pro hry dostatečně dobré, hlavní je zde grafická karta (či karty v SLI/Crossfire).
Pokud Vám někdo servíruje jen číslo z WinRaru, či hru v rozlišení 640x480, nemá to se skutečnou praxí komplexního použití počítače valnou souvislost.

Komentáře

1 Dave 12.03.06, 11:03:50

Z velké části souhlasím, ale na CPU hodně záleží i ve hrách při vysokém rozlišení. Doma jsem vlastnil jak Pentium 4 3GHz @ 3,8GHz tak Opteron 144 @ 2,7GHz. Ve hrách byl nedosažitelný opteron, ale ve windowsech jsem zaznamenal subjektivně horší rychlost než u Pentia. Zajímalo by mne jak by to vypadalo kdyby AMD mělo něco jako HT, ale to už by bylo opravdu ze strany AMD hodně "kopírování" :)
2 Radek Hulán 12.03.06, 11:03:55

[1] podobné komentáře "jedna paní povídala" běžně nepublikuji, ale výchovně to udělám, příště doplň v jaké hře, při jakém rozlišení, jaké FPS, atd. ;-)
3 Eagle 13.03.06, 01:03:26

Zdravím Radku.
Bohužel opět nemohu ve všem souhlasit. Pokud jde o kompresi WinRARem či LAME kompresi, pak zde je single-core procesor velmi dobře použitelný a zpomalení je naprosto minimální. Tajemství spočívá v prioritě procesu - tu je možné jak u WinRARu, tak u LAME stanovit na idle (WinRAR na to má trvalé nastavení, u LAME to lze provést přes command-line příkaz, což se v tom návalu voleb nutných pro kvalitní MP3 kompresi ztratí). S tímto běží vše perfektně. Nejhůř zde dopadají procesory s HyperThreading, protože u těch tyto "idle" procesy užírají výkon procesům běžícím na popředí - je to známý problém s nemožností nastavovat priority. Procesor s HyperThreadingem tak nabízí pro aplikace běžící na popředí nejnižší aplikační výkon. Navíc Athlon 64 je ve WinRARu o hodně rychlejší než Pentia 4 díky integrovanému paměťovému řadiči.
Testovat tyto aplikace jinak než samostatně je dost problém. Ať jsem přemýšlel, jak jsem přemýšlel, napadlo mě naprosté minimum situací, kdy je počítač zatěžován dvěma náročnými programy a zároveň není limitem výkon disku a situace je natolik spolehlivá, že je možné výsledky bez problémů opakovat. Nepřu se, že dual-core v situaci, kdy něco komprimuju a ještě do toho občas něco náročnějšího provádím, výrazně zrychluje kompesi. Přesto se ale domnívám, že to, že si jednou za měsíc něco zkomprimuju, přičemž mě čas komprese více méně nezajímá (komprimuju na pozadí), není důvodem k pořizování dual-core čipu s dvojnásobnou spotřebou a vysokou cenou. Idle priority problém s nedostatečným výkonem aplikací na popředí skvěle řeší, limitem v těchto situacích je disk. A tím limitem disk bude do okamžiku, než všichni budeme používat Raptory nebo RAID1 pole s nezávislým čtením... ale kolik lidí si něco takového pořídí, vzhledem k ceně?
Dále musím i tentokrát říct, že PCMark používá knihovnu Libguide, což je DLL knihovna kompilátoru Intel C++ Compiler, který favorizuje procesory Intel (byť na AMD také poskytuje nejvyšší výkon). Nemohu tedy souhlasit s tím, že tento test je nestranný - takový by byl, pokud by byl kompilování pomocí Visual C++.
A konečně k testování her. Je samozřejmě pravdou, že v 640x480 nikdo nehraje, na druhou stranu ve vyšších rozlišeních je (jak je zde správně napsáno) výkon limitován samotnou grafickou kartou. Připomínka o nereálnosti je proto namístě. Nicméně toto testování má svůj důvod. Dnešní procesory jsou díky 3D akceleraci ve hrách na rozlišení nezávislé - ať je rozlišení jakékoli, fyzikální scéna se nemění, tudíž zátěž na procesor je identická. Skóre je proto limitováno jedním prvkem z dvojice "rychlost výpočtu scény" a "vykreslování scény". Ve vyšších rozlišeních převládá to druhé, a všechny počítače se stejnou grafickou kartou tak dosahují plus mínus stejného skóre bez ohledu na použitý procesor. Proč se tedy testuje v nízkém rozlišení? Nižší rozlišení totiž umožňuje posoudit, jakou má procesor rezervu v rychlosti výpočtu scény. Čím větší rezerva je, tím méněkrát dojde ke zpomalení vlivem pomalosti CPU. To znamená, že v náročných situacích (např. multiplayer s hodně protivníky či hodně boty) bude procesor zvládat snadněji a nebude docházet k poklesu fps pod únosnou mez. Testování v nízkém rozlišení proto má smysl a je to jediný správný způsob testování výkonu procesorů ve hrách. Co bych ještě víc uvítal, kdyby se ve hrách neměřilo průměrné fps, ale minimální fps - o to totiž u výkonu procesoru jde především.
4 Radek Hulán 13.03.06, 01:03:39

[3] tvoje skepse k dualcore či dualCPU je veřejná známá, a mnohokrát prezentovaná (a mnou absolutně neuznávaná). Osobně mám z mé praxe přesně opačný názor, a bez dualX si nedovedu již 6 let počítač představit. Ale rozhodně nejsem typický uživatel... Spíše to hezky ukazuje na to, že "objektivně správný" postup neexistuje, a každý si musí (pro sebe) obhájit ten svůj. Osobně ale na singlecore nejsem schopen pracovat a mimořádně mě takový procesor (jako je Venice 3200+) zdržuje.
Ohledně her, testovat ve VGA rozlišení prostě je špatně, neříká to naprosto nic o výkonu v singleplayler, a nakonec ani v multiplayer, představa, že v multiplayer se musí přepočítávat pomocí CPU nějak razantně větší množství dat je sice na první pohled zajímavá, ale chybná. Zkus se někdy při hraní HL2 DeathMatch online podívat na vytížení CPU a porovnat je na singleplayer, nebude se to příliš lišit...
Ohledně min FPS naprosto souhlasím, je to mnohem důležitější než AVG. Znát průměr je k ničemu (když to nic neříká o tom, že 2/3 lidí v ČR mají podprůměrný plat) :-)
5 blecha 13.03.06, 08:03:44

[3] A zkusil si nekdy hrat treba civilizaci, Diablo apod. a chtit na pozadi prekodovavat video? Pro me je to dost casto, protoze zpravovavam vlastni nahravky a videokazety do H.264. Na SC neprekoduju v dobe hry nic. V soucasnosti mam na obcasne hrani her cas jen o vikendu a taky o vikendu prekodovavam, a to nemluvim o tom, kdyz me klepne a neco si pracovne chci nasimulovat v biochemii...
6 .MIA - [Michal Mitrega] 13.03.06, 09:03:12

HH hezký, ale určitě nemáš pravdu, že herní testy jsou zbytečné.
Máš naprostou pravdu, že každá hra má specifické požadavky. A v tom to je. Nejenom já, ale spousta lidí hraje pouze jednu nebo dvě on-line hry.
Stačí se tedy podívat na vhodný herní test a zjistí například, že 7600 GT je v jeho Open GL výkonnější než dražší X1800 GTO. To, že je to většinou právě naopak mě přece vůbec nemusí zajímat. Mě zajímá pouze výkon v několika hrách, které jsem si oblíbil...
Proto se dělají herní testy. ;) Shrnutí pomocí 3D Marku je dobré, ale o výkonu ve tvé hře ti to řekne pouze orientační hodnocení.
7 Radek Hulán 13.03.06, 09:03:40

[6] nepsal jsem, že herní testy jsou zbytečné, ale že pokud má recenzent čas na 3-4 hry, dokáže s výsledkem při troše znalosti velice slušně manipulovat volbou portfolia her ;)
8 satyr_ik 15.03.06, 01:03:50

[3] tak pridám jeden príklad aj ja: v práci rendrujem vizualizáciu domu (bežne berie 100% výkonu procáku) a zároveň potrebujem v inom programe kresliť pohľady. Takto by sa dalo pokračovať...

Twitter	Facebook
Instagram	LinkedIn

Proč jsou současné testy procesorů špatně? [2]

MyEgo.cz