Le benchmark Uber IQ Camera produit un score de Qualité d’Image (IQ en Anglais) qui donne une excellente indication de la qualité des photos, sur la base de quatre « Piliers » de la photographie que tout le monde comprend : photo de Jour (Day), de Nuit (Night), en très-grand angle (Ultrawide) et en zoom.

Grace à ce score, les consommateurs ont à présent un repère précis et facile pour évaluer la performance d’un APN mobile dans des conditions réelles d’utilisations. C’est de cette manière que nous testons la qualité des cameras mobiles.

Les chercheurs en université catégorisent les utilisateurs dans deux groupes, ou deux « rôles ».

  1. Ceux qui prennent des photos
    1. Amateurs: les photographes amateurs qui veulent simplement capturer le moment (la très grande majorité)
    2. Expérimentés: les photographes sérieux qui vont prendre le temps de faire beaucoup pour choisir l’endroit, les réglages etc. (la petite minorité)
  2. Ceux qui regardent les photos, souvent sans aucun contexte (contexte=comment elles ont été prises, et quels filtres ou manipulation elles sont subie après coup).

Nos tests photos visent le groupe « Amateurs » qui est la grosse majorité des gens qui veulent juste capturer le moment, avec un maximum de qualité, mais sans se soucier des réglages manuels. Cela dit, même les photographes « Expérimentés » vont trouver des pépites d’information intéressantes dans nos tests.

Nous utilisons des variations de logos qui montrent le score, mais aussi les informations qui gravitent autour, comme le nom, la date de lancement et la position du mobile sur le marché.

000Image Quality score UBER-G SCOREScoring/ranking system name IQImage-Quality based scoring system CAMERA Mobile High EndCategory based on price YYYY-MMDevice launch date [Device]Device brand and name
000Image Quality score UBER-G SCOREScoring/ranking system name IQImage-Quality based scoring system CAMERA Mobile PremiumCategory based on price YYYY-MMDevice launch date [Device]Device brand and name
000Image Quality score UBER-G SCOREScoring/ranking system name IQImage-Quality based scoring system CAMERA Mobile High Mid RangeCategory based on price YYYY-MMDevice launch date [Device]Device brand and name
000Image Quality score UBER-G SCOREScoring/ranking system name IQImage-Quality based scoring system CAMERA Mobile Low Mid RangeCategory based on price YYYY-MMDevice launch date [Device]Device brand and name
Publicité

Pourquoi a-t-on créé le score Uber IQ Camera ?

Au départ, ce système a été développé pour un usage interne, dans le cadre de nos tests de téléphone portables. Quasiment tous les consommateurs, mais aussi les fabricants, à qui nous avons parlé on dit que la caméra est le module du téléphone le plus important dans leur décision d’achat. Plus important que la durée de vie de la batterie, ou la qualité de l’écran.

Nous avons aussi créé un autre score, le Uber HW Camera, qui reflète la qualité du matériel camera (HW = HardWare = matériel), et qui est un autre indicateur de performance photographique. Il est très pratique pour se faire une bonne idée de ce a quoi il faut s’attendre, et permet une évaluation sans prendre de photos. Il y a un effet une très forte corrélation entre la qualité du matériel photographique (capteur, objectif, processeur) et la qualité des photos – c’est logique.

De notre longue expérience de tests et notre processus éditorial, nous avons développé l’algorithme, la méthodologie et le support logiciel nécessaire pour créer ces deux scores de cameras. C’était en fait beaucoup plus de travail que prévu, mais le résultat en vaut la chandelle car nous pouvons à présent voir clairement quelle sont les meilleures cameras.

Les piliers du score Uber IQ Camera

Un score sous forme d’un nombre, c’est très pratique, mais ça peut manquer de nuance. Le fait que notre score Uber IQ Camera global soit divise en sous-scores (un par pilier) donne à l’acheteur potentiel une idée beaucoup plus précise et facile à comprendre. Après tout, chacun peut avoir ses propres priorités en matière de camera.

Chaque pilier représente un aspect clair et net de la caméra, et quand le test complet est disponible, vous avez des explications et illustration des différents aspects de la qualité d’image, avec les points hauts/bas de l’appareil. Pour rappel, nos quatre piliers de la photographie sont :

  1. (Photos) de jour (Day)
  2. De nuit (Night)
  3. Très grand angle (Ultrawide)
  4. Zoom

Notre algorithme prend les scores individuels de chaque pilier, pour en faire un score global : le Uber IQ Camera. Aujourd’hui les meilleurs scores atteignent ~250, mais il n’y a pas de limite théorique vers le haut.

Tests objectifs de qualité d’image

Il y a un certain nombre d’attributs objectifs en photographie que permettent de mesurer la qualité d’image, et c’est exactement ce que nous regardons. Un attribut objectif veut dire que « plus » ou « moins » de cet attribut améliore ou détériore la qualité de l’image. Par exemple, plus le bruit augmente dans la photo, plus cela détériore la qualité de l’image. Plus on voit de détails, et plus la qualité est élevée, etc.

Nous avons publié un article en Anglais qui montre de nombreux exemples objectifs de qualité d’image, et nous allons le traduire des que possible.

Dans nos tests, les photos produites par différentes cameras sont analysées et classifiés par ordre de qualité, de manière aussi objective que possible. Le but est de séparer ce qui relève du gout (subjectif) de ce qui est objectivement de la qualité (objectif).

Il est important de reconnaitre que même un algorithme peut avoir certains éléments de subjectivité. Il est possible par Example qu’un attribut soit surreprésenté par rapport à d’autres.

En 100 ans de photographie, il n’y a pas de méthode scientifique « standard » pour mesurer la qualité d’image, et c’est un sujet qui fait encore débat aujourd’hui.

En fait, l’algorithme est la partie la plus importante d’un score photo, et il a même plus d’importance que les prises de données, à partir du moment ces données sont déjà suffisamment précises. Deux ensembles de données identiques peuvent être interprétés de manière considérablement différente par un algorithme, ce qui conduit à un résultat radicalement diffèrent à la sortie.

La clé du succès est d’avoir un algorithme qui produit des résultats représentatifs pour les experts et consommateurs. Nous avons eu de très bons retours des experts de l’industrie ainsi que la confiance de bons nombres d’utilisateurs.

Les parties subjective de l’expérience photo comme l’interface utilisateur, les diffèrent styles de filtres photos sont des éléments très intéressant, mais trop subjectifs, que nous laissons de côté dans le cadre de ce score.

La réalité est la référence ultime

Le Contexte : ce a quoi ressemble la scene a l’oeil nu

Une photo de la meme scene prise par un APN mobile

Quand on parle de tests camera, la personne à satisfaire « ceux qui prennent des photos » et qui achètent la caméra. Ce sera ensuite leur travail (des photographes) de prendre/éditer des photos qui satisfont « ceux qui regardent les photos ».

"L'UTILISATEUR VEUT ETRE EN CONTROLE"

Il y a une très forte corrélation entre la satisfaction du photographe et la capacité de la caméra à capturer la scène de manière précise et fidèle. Cela créé une certaine prédictibilité et le sentiment qu’on est en contrôle.

Par exemple, certaines cameras peuvent produire des couleurs assez irréalistes pour des raisons de styles ou d’incapacité de capture précise. Nous considérons cela comme un attribut plutôt négatif.

La réalité est donc l’ultime référence que tout le monde peut comprendre et c’est souvent la seule chose sur laquelle tout le monde est quasiment d’accord.

Night photography

Le Contexte : une bonne representation de ce qu’on voit a l’oeil nu

La photo de nuit est souvent ce qui distingue nettement les cameras haut-de-gamme du reste du marché. C’est aussi l’aspect le plus apprécié des consommateurs. Il est assez rare que les gens se plaignent lourdement des photos en plein jour, même si la qualité diffère là aussi.

Pour tenter de satisfaire les utilisateurs, certains fabricants tentent de compenser le manque de qualité par des filtres qui vont artificiellement « éclaircir » la scène. Cela peut produire des résultats intéressants (d’un point de vue artistique) mais cela n’augmente en rien la « qualité » d’une photo de nuit. Nous avons publié un article (en Anglais) qui explique ce phénomène.

Le Contexte : on regarde un spectre specifique de la photo

APN Mobile A : regardez les dommages que certains filtres font

Quand on analyse la photo sous différents spectres de lumière (images ci-dessus), il est facile de voir à quel point certains de ces filtres sont destructeurs. C’est la raison pour laquelle ces photos ont souvent un air « surnaturel » et/ou « artificiel ».

Ces filtres sont parfois l’équivalent d’une grosse cuillère à soupe de sucre ou de sel dans un plat cuisiné qui aurait dû être fin et délicieux. Ils détruisent le contraste, les ombres et les nuances de couleurs de manière irrémédiable (autre article en Anglais sur les filtres destructeurs).

Très grand angle

Les téléphones portables ont des objectifs a focale fixe (souvent ~24mm), ce qui fait sens vu leur petite taille, mais c’est quand même limité. Avec plusieurs modules cameras, il est possible d’ajouter un très grand angle (13-18mm).

Nos recherches montrent que le grand angle est extrêmement important, car utilise par un nombre important d’utilisateurs optent pour cette option quand elle est disponible. Un APN mobile avec cette option aura donc un avantage indéniable sur un compétiteur qui n’en est pas équipé.

Deux ans après le lancement du score Uber IQ Camera, les faits nous ont donné raison car quasiment tous les fabricants ont adopté le très grand angle en priorité par rapport au zoom quand seulement deux modules sont disponibles.

Le zoom (Téléobjectif)

Le Contexte: on va prendre une photo de cet endroi, et zoomer autant que possible

Dans le cadre du score Uber IQ Camera, nous considérons le Téléobjectif comme un zoom à longue distance. C’est vraiment de cette manière dont les gens voient le zoom.

Dans nos tests, nous faisons donc des prises de vue qui reflètent cette attente, et il est évident qu’avoir une camera dédiée à ce genre d’activités va produire des scores beaucoup plus élevés qu’un zoom digital, même avec les algorithmes les plus évolués.

Pas inclus dans Uber IQ Camera (et pourquoi)

Pour avoir un score aussi compréhensible et clair que possible, il est important de mettre de cote les choses qui influent le moins sur la représentativité de la qualité d’image. Nous avons donc choisi de laisser les éléments ci-dessous de côté :

  1. Flash
  2. Longue exposition (mode nuit)
  3. Bokeh
  4. Vitesse d ’autofocus (AF)
  5. Selfie
  6. Video

Flash

Le flash est un outil très utile, mais la plupart des gens préfèrent l’éviter autant que possible pour capturer une photo naturelle. Idéalement, beaucoup de gens préfèreraient ne jamais avoir à utiliser le flash sur un APN mobile.

Mode nuit en exposition longue

Obliger les gens à attendre entre 3 et 6 secondes pour prendre une photo dans une lumière peu sombre est une expérience dont les gens se passeraient bien. C’est aussi un exercice artistique de filtrage et de style qui produit en général des photos irréaliste et donc complétement subjective. Quasiment tous les appareils haut de gamme n’ont plus besoin de ce mode qui est voué à disparaitre.

Bokeh (flou hors du champ de netteté)

L’effet de Bokeh est une très bonne chose pour certaines photos. Mais c’est aussi quelque chose qui sur les APN mobiles est extrêmement artificiel car créé par logiciel seulement. C’est aussi un effet qui est relativement peu utilise, et donc mieux laisse à l’appréciation des utilisateurs par voie de photos de démonstration.

Vitesse d’autofocus

La vitesse d’autofocus (AF) est importante pour l’expérience utilisateur, et pour certains cas extrêmes de photos comme la photo sportive dans des conditions de lumière difficile. En théorie, cela peut entrainer du flou dans les photos, mais ce n’est pas un problème que les utilisateurs d’APN mobiles ont à confronter au quotidien. Nous analysons les photos avec un bon autofocus, et si les problèmes d’AF étaient persistants, cela pourrait éventuellement nuire au score, mais c’est du jamais vu.

Camera pour Selfies

La camera pour les Selfie n’entre pas en compte dans le score Uber IQ Camera car elle a un usage spécifique qui est plus concentrée sur le « style » plutôt que la « qualité ». De plus, de nombreux fabricants utilisent des filtres très virulents par défaut.  Il serait probablement mieux d’analyser les cameras Selfie avec un score de type Uber HW Camera, éventuellement.

Vidéo

La qualité objective de la vidéo serait mesurable selon certains critères, mais ceux-ci sont absolument diffèrent de la photographie. Cependant, la bonne nouvelle est que la qualité photographique a une bonne corrélation avec celle de la vidéo. Donc le score Uber IQ Camera actuel donne quand même une bonne indication sur la qualité potentielle de la vidéo, même sans être un score dédié.

Plus de scores et d’analyses arrivent bientôt!

Merci de votre intérêt pour le score Uber IQ Camera et autres Uber HW Camera. Nous essayons vraiment de fournir des données et analyses pertinente pour aider les gens à évaluer leur prochain téléphone mobile, en ce qui concerne l’appareil photo.

Pour ne rater aucun score, suivez-nous sur Facebook, Twitter, et Youtube. N’hésitez pas à nous tagger dans Instagram @ubergizmo pour nous montrer vos superbes photos !

Note : cliquez sur le titre de chaque colonne pour trier les données.

Camera IQ
Smartphone
Day
Night
Zoom
U-wide
Year
224 Samsung Galaxy Note 20 Ultra 227 249 159 154 2020
220 Samsung Galaxy S20 Ultra 225 242 155 154 2020
218 Huawei P40 Pro+ 217 239 157 171 2020
212 Huawei P40 Pro 215 229 150 171 2020
195 Huawei Mate 30 Pro 196 211 118 172 2019
181 Xiaomi Mi Note 10 (CC9) 190 193 135 130 2019
180 Huawei P30 Pro 186 196 148 116 2019
178 Samsung Galaxy Note 10+ 187 194 89 140 2019
178 Samsung Galaxy Note 10 187 194 89 140 2019
177 Samsung Galaxy S10+ 187 194 89 134 2019
177 Apple iPhone 11 Pro 189 194 92 117 2019
177 Samsung Galaxy Fold 187 194 89 134 2019
177 Samsung Galaxy S10 187 194 89 134 2019
176 OnePlus 7 Pro 186 194 104 115 2019
175 Samsung Galaxy S10e 187 194 58 134 2019
175 Honor 20 Pro 185 191 103 117 2019
174 Apple iPhone 11 189 194 58 N/A 2019
174 Huawei P30 185 192 103 112 2019
173 Google Pixel 4a 5G 188 182 67 153 2020
173 Google Pixel 5 188 182 67 153 2020
173 LG G8 ThinQ 185 191 57 136 2019
168 Motorola One Zoom 186 178 99 111 2019
167 Huawei Mate 20 Pro 179 179 103 114 2018
164 ZTE Axon 10 Pro 179 171 107 119 2019
162 Samsung Galaxy Note 9 186 193 88 N/A 2018
161 LG V40 173 172 80 129 2018
160 Samsung Galaxy S9+ 184 191 85 N/A 2018
160 Xiaomi Redmi Note 8 Pro 175 176 56 109 2019
158 Samsung Galaxy S9 184 191 59 N/A 2018
157 Google Pixel 4 188 182 86 N/A 2019
155 Apple iPhone XS Max 187 178 87 N/A 2018
155 Apple iPhone XS 187 178 87 N/A 2018
155 Huawei P20 Pro 180 180 103 N/A 2018
154 OnePlus 6T 187 179 59 N/A 2018
152 Google Pixel 3 186 176 62 N/A 2018
151 Xiaomi Mi Mix 3 176 179 82 N/A 2018
150 Honor View 20 179 174 83 N/A 2018
142 LG G7 ThinQ 165 141 57 122 2018
141 OnePlus OnePlus 6 167 167 58 N/A 2018
141 Google Pixel 2 165 168 55 N/A 2017
141 Google Pixel 2 XL 165 168 55 N/A 2017
139 Sony Xperia XZ2 181 151 53 N/A 2018
139 HTC U12+ 180 149 83 N/A 2018
129 Huawei P20 172 136 63 N/A 2018
127 Honor View 10 169 134 54 N/A 2017
126 Honor 10 165 135 53 N/A 2018
124 OnePlus OnePlus 5T 160 136 47 N/A 2017
110 Vivo V11 165 100 53 N/A 2018
109 Honor Honor Play 163 100 53 N/A 2018
87 Huawei Y9 (2018) 142 70 46 N/A 2018
77 Samsung Galaxy J7 (SM-J727U, 2017) 140 50 45 N/A 2017

Classé dans Photo. Plus d'articles à propos de et .