Fenomén Dxomark. Stojí za ním jen kouzla a čáry, nebo důkladná měření?

Standardizované texty Dxomark jsou s námi již pěkných pár let. Platforma se sama označuje jako nezávislá firma, která provádí benchmarky telefonů, reproduktorů, fotoaparátů, objektivů a dalšího fotografického vybavení. Od roku 2008, kdy byl Dxomark založen, však spektrum a struktura testů značně narostla.

Představení testovacích procedur Dxomark:

Dxomark u smartphonů primárně hodnotí kvalitu hlavních fotoaparátů, již delší dobu však testuje a nabízí standardizované testy selfie foťáků v mobilech, telefonních reproduktorů, displejů a nově také baterií ve smartphonech. Zajímá vás, jak Dxomark  telefony vlastně testuje? Nás také, a proto jsme pro vás připravili souhrn toho nejdůležitějšího. Stojí za Dxomark kouzla a čáry nebo důkladná měření a propracovaná metrika?

Dxomark Camera

Zřejmě neznámější test, který se ve spojitosti s Dxomark zmiňuje, je fotografický test hlavních snímačů na zadní straně smartphonu. Jeho poslední, čtvrtá revize, platí od loňského října, ke které loni v prosinci přibylo testování regionálních variant smartphonů. Ukazuje se totiž, že o kvalitě fotek dost výraznou měrou rozhoduje i použitý čipset, který se u některých výrobců mezi Evropou a USA liší.

Nové a dříve měřené parametry v Dxomark Camera 4

Ve čtvrté generaci testu se samostatně měří zoomovací možnosti, a to u teleobjektivu a také u širokoúhlého fotoaparátu. U fotek a videí se testuje expozice, barevná věrnost, autofocus, kvalita textur, šum a artefakty. U fotek jsou dalšími parametry focení v noci, bokeh a preview, tj. jak výrazně scéna zachycená v hledáčku odpovídá finální pořízené fotografií. U videí se samostatně testuje stabilizace obrazu. Do celého testu vstupuje i celá řada subparametrů, které jsou vždy detailně otestovány a sepsány u každého testu smartphonu.

Pohled pod pokličku finálního hodnocení testu Dxomark Camera (ovšem zde ještě bez přidané sekce Zoom)

Testovací fotografie a videa jsou pořizovány uvnitř, venku a za nízkého osvětlení, dále se testují snímky venkovního prostředí i kalibrované studiové fotky z laboratoře. V případě venkovních prostor vznikají fotografie na předem vytipovaných místech v centrální Paříži. Otestování jednoho smartphonu trvá včetně analýzy dat zhruba deset dní, zbytek času trvá sepsání doplňkového článku. Detaily první generace testu najdete zde, novinky čtvrté generace shrnuje tento článek.

Aktuální TOP3 žebříčku Dxomark Camera

Dxomark Selfie

Test Dxomark Selfie je odvozen od základního fotografického testu, jenže tentokrát se testují selfie kamerky na přední straně smartphonů. Test byl zaveden v lednu roku 2019, a i focení selfíček musí splňovat přísná hodnotící a srovnávací kritéria.

Testována je kvalita samostatných a skupinových selfíček, selfie pořízených uvnitř a venku či selfíček, které pořídíte v přirozeném prostředí a těch, která zachytíte v profesionálním studiu s přisvětlením. Selfie jsou testovány komplexně, takže jsou v rámci testu pořizovány selfie, jak z ruky, tak pomocí selfie tyče, a to hned ve třech vzdálenostech od obličeje (30, 55 a 120 cm). Aby bylo možné učinit závěrečné hodnocení testu selfie, hodnotí zástupci Dxomark přes 1 500 fotografií a 2 hodiny pořízeného selfie-videozáznamu!

Detaily testu Dxomark Selfie:

Dxomark závěrečné skóre vypočítává z výsledku selfie fotek a selfie videí. V prvním případě se hodnotí expozice, barva, ostrost, textura, šum, artefakty, přínos přisvětlení a bokeh. Místo posledních dvou parametrů u fotek se u videa samostatně hodnotí stabilizace. Každý ze zmíněných parametrů má ještě celou řadu subparametrů, které ovlivňují bodový zisk v nadřazené kategorii. Detaily testování selfie prozrazuje tento článek.

Aktuální TOP3 žebříčku Dxomark Selfie

Dxomark Audio

Test zvukových kvalit smartphonu se datuje do října roku 2019. Jeho primárním cílem je zjistit a adekvátně vyhodnotit kvalitu reproduktorů při přehrávání zvuků a současně i nahrávání zvuků při natáčení videí nebo při tvorbě hlasových zpráv. Testování je děleno do třech dílčích kroků.

Dxomark dal nahlédnout i pod pokličku svého testu Dxomark Audio

Prvním je testování ve zvukové laboratoři, ve které najdeme poslechovou místnost a také bezodrazovou komoru, což znamená, že měřící technika „slyší“ pouze přímé zvuky a nikoliv zvukové odrazy. Druhým krokem je objektivní analýza naměřených dat, jejíž součástí jsou i testy zvukové „vnímavosti“. Třetím krokem je vyhodnocení naměřených dat a jejich převod do vzájemně porovnatelných hodnot. Dxomark uvádí, že do finálního skóre pomocí vlastní metodiky kombinuje až stovky naměřených dat.

Do skóre benchmarku Dxomark Audio zasahuje několik stovek naměřených dat, dílčí skóre se skládá z těchto měřených hodnot

V kompaktním náhledu je skóre děleno na přehrávání a nahrávání zvuků. V rámci zvukové reprodukce se samostatně hodnotí tón, dynamika, prostorový aspekt, hlasitost a zvukové artefakty. U nahrávání zvuků do skóre významně zasahují statistiky zvuků na pozadí, které jsou při nahrávání vašeho hlasu samozřejmě nežádoucí. Test jednoho smartphonu trvá až jeden týden.

Představení testu Dxomark Audio:

I u tohoto testu Dxomark používá tzv. open-scale skóre, které umožňuje srovnání i s budoucími zařízeními. Jinými slovy, to že telefon v současné době dominuje s bodovým hodnocením 81 neznamená, že by jej za rok nemohla přeskočit „devadesátka“. Nestrannost testu je řešena porovnáním skóre aktuálního telefonu se starším modelem, který testem již dříve prošel a má své vlastní skóre. Nutno dodat, že audio skóre automaticky nemají všechny telefony, u kterých již vyšel test foťáku. Dxomark výsledky testů přidává průběžně. Jak Dxomark testuje audio u smartphonů, prozradí tento článek.

Aktuální TOP3 žebříčku Dxomark Audio

Dxomark Display

Druhý nejmladší test Dxomarku, zaměřený na mobilní displeje, byl zprovozněn v říjnu roku 2020. Testování displejů probíhá v laboratoři Display Bench v Paříži, která je vybavena spektrokardiometry, kolorimetry, konoskopy, DSLR foťáky a referenčními monitory. Oproti jiným benchmarkům má řešení od Dxomark navíc dva unikátní aspekty. V první řadě jsou displeje testovány v podmínkách, které simulují různá světelná prostředí z běžného světa (uvnitř, ve stínu, na slunci, ve tmě, apod.), zatímco samotní výrobci testují a kalibrují displeje v úplné tmě.

Druhou významnou novinkou je benchmarkování dynamických atributů displeje. To znamená, že Dxomark nejdříve vyhodnocuje kvalitu renderingu pohyblivého obsahu (např. videí a her), které závisí na tom, jaké algoritmy jsou použity ke zpracování informací o jasu a barvě. Dále se zkoumá úbytek framů, problémy při přechodu mezi rámci, pohybové rozmazání a další problémy renderingu. Na závěr je vyhodnocena dotyková vrstva, tj. rychlost odezvy nebo přesnost na dotyky.

Jak DxOMark testuje mobilní displeje?

V rámci simulací reálného světa se displeje testují v režimech: prohlížení webu, noční čtení, navigace v autě, focení, prohlížení fotek, hry, sledování filmů a přechody mezi různými světelnými prostředími (měří se, jak rychle na změnu jasu okolí zareaguje automatika). Mezi měřené atributy patří čitelnost displeje, barevná reprodukce, zpracování videa, zpracování pohybového obsahu, dotyky na displej a různé nežádoucí artefakty. Hlubší pohled do metodiky testování displeje v laboratořích Dxomark poskytuje tento článek.

Aktuální TOP3 žebříčku Dxomark Display

Dxomark Battery

Nejnovějším testem je Dxomark Battery, který byl světu představen 10. května 2021. Test se věnuje třem základním kapitolám, tedy autonomii (resp. výdrži na jedno nabití), nabíjení (doba potřebná k opětovnému dobití) a efektivitě nabíjení a vybíjení. Měření probíhá ve Faradayově kleci, která odstiňuje nežádoucí konektivitu od Wi-Fi a mobilních sítí, a je také vybavena osvětlením, jehož intenzita se podepisuje pod simulaci světelných podmínek běžného dne. A právě reakce displeje na intenzitu okolního osvětlení mají na výdrž telefonu nemalý vliv.

Testování baterie probíhá ve Faradayově kleci s umělým osvětlením, které imituje různé světelné podmínky v rámci jednoho dne

Uvnitř testovací laboratoře najdeme roboty, kteří se předem stanovenými testovacími aktivitami starají o vybíjení telefonu předpřipravenými sekvencemi dotyků. Ty odrážejí běžné chování uživatelů v rámci simulovaného dne, který běží od sedmé ráno do jedenácté večerní. Roboti v průběhu dne volají, kontrolují sociální sítě, přehrávají hudbu, videa, hrají hry a prohlížejí internet. Displej je aktivní zhruba čtyři hodiny, po 11 večer roboti telefon odkládají, podobě jako lidé uléhající ke spánku.

O vybíjení se starají roboti, rychlost a průběh nabíjení monitoruje osciloskop Rohde & Schwartz RTE 10124

V další části testu dělají roboti s každým telefonem jednu neustálou činnost, dokud se baterie nevybije. Výdrž v autonomním režimu se počítá v řádech hodin. Třetím krokem je měření rychlosti nabíjení, a to z 0 na 80 %, z 80 do 100 %, a pak skutečný čas naplno dobité baterie. To, že telefon na displeji uvádí 100% dobití akumulátoru, totiž ještě neznamená, že je baterie skutečně nabitá doplna. V režimu Quick boost se testuje, jak výrazně se nabije baterie po pětiminutovém připojení do nabíječky.

Aktuální TOP3 žebříčku Dxomark Battery

Testování baterie zabere zhruba šest a půl dne. Vyžaduje si 150 hodin nabíjení a vybíjení a 70 celkových měření (30 z nich je vztaženo k autonomnímu režimu), z nichž vzejde 100 různých parametrů, které se zkombinují do finálního skóre. Detaily k testování baterie u Dxomark se dočtete v tomto článku.

Jak vážně můžeme brát Dxomark?

Z následující výčtu je zřejmé, že Dxomark jde na věc hodně technicky a profesionálně, aby jeho standardizované testy měly jedinečnou vypovídací hodnotu. Jenže, je tu i stinná stránka v podobě netransparentního finálního hodnocení.

Spousta zájemců se snažila reverzním inženýrstvím dopátrat k váze jednotlivých parametrů při vypočítávání celkového skóre. Na první pohled jednoduchá věc ale ukázala, že se parametry mezi telefony dost výrazně lišily. Ne jen násobkem, ale také tím, že váha parametru byla u jednoho telefonu kladná, a u druhého záporná...

Jak dopadl Galaxy S21 Ultra v DxOMark? Získal méně bodů než loňský S20 Ultra

Protože Dxomark detaily hodnocení nikdy nezveřejnil, jsou jím zveřejňované výsledky stále diskutabilní. Dxomark se tváří jako nezávislá firma, ovšem při testování zákonitě musí hrát roli peníze. Jak jinak si totiž vysvětlit, že některé telefony jsou otestovány ještě před oficiální premiérou (a výrobci se skórem vychloubají na své 1. prezentaci), a jiné čekají na test i několik měsíců po uvedení na trh. A proč jsou některé smartphony testovány s finální verzí firmwaru (která není uživatelům ještě dostupná) a jiné s předprodukční verzí, byť na OTA serveru už je několik týdnů novější update?

Berte Dxomark jako zajímavý zdroj informací, ale bezmezně na něj nespoléhejte. V hodnocení mohou být „zašité“ parametry, které dokáží skóre přiklonit na jednu či druhou stranu. Podle toho, jak se to zrovna hodí.