Comment nous testons les smartphones

Nous réalisons une multitude de tests photo pour obtenir la cote de qualité d’image de l’appareil principal à l’arrière. Des chartes standardisées nous permettent d'évaluer la netteté, le contraste et la reproduction des couleurs. Nous prenons certaines photos sous forte lumière pour simuler des photos en extérieur en plein jour, d’autres sous faible lumière pour simuler la pénombre voire la nuit. La majorité des smartphones offrent une qualité photo décente en forte luminosité et une mauvaise qualité en faible luminosité. Nous testons également le zoom et le flash (intensité et portée, influence néfaste sur les teintes, etc.). Nous réalisons aussi des portraits.

Nous testons la stabilisation d'image (optique ou non) à l’aide d’un vibrateur acoustique. Celui-ci génère des vibrations sur le smartphone pendant les prises et nous évaluons ensuite l’efficacité du stabilisateur d’image à contrecarrer ces tremblements, afin d’éviter les photos floues.

Nous testons aussi la facilité d'utilisation de l’appareil photo. Nous tenons compte de la facilité à ouvrir l'application photo, à prendre la photo et à éventuellement effectuer des réglages (modifier la balance des blancs, désactiver le flash, etc.). Nous analysons également le menu "album": la facilité à ouvrir/trier/supprimer les photos et les vidéos.

Nous testons aussi la qualité d’image de l'appareil frontal (à selfie) à l’aide d’une scène très colorée avec des chartes, pour évaluer la résolution des images. Le niveau de détail, la netteté, le contraste, la reproduction des couleurs dont les teintes du portrait (couleur de la peau) sont pris en compte.

Nous testons également la qualité des vidéos en laboratoire. Nous réalisons des enregistrements en fixant le smartphone à un trépied se déplaçant latéralement devant une scène dynamique (mannequin pivotant, plantes secouées par un ventilateur). Nous testons la qualité d'image sur un moniteur calibré haute définition: nous évaluons l'exposition, le contraste, la reproduction des couleurs et la netteté. Nous tenons également compte de l'efficacité de la stabilisation d'image, testée avec un vibrateur acoustique.

Nous testons différents aspects des écrans. La qualité visuelle est un point prépondérant. Nous tenons compte de la définition de l'écran (son niveau de détails ou sa netteté), de la luminosité maximale, de la lisibilité en plein soleil, mais aussi à l'intérieur, du contraste, de la qualité des couleurs, de la lisibilité de biais, etc.

Après la qualité visuelle, la réactivité tactile de l’écran est le deuxième critère prépondérant. Cette réactivité est jugée par un jury de 3 personnes. L'écran qui remporte un bon score est un écran réactif: le temps de réponse est court et l'écran réagit rapidement au toucher. L'écran qui obtient un mauvais score est peu réactif, il parait lent: un temps mort est alors perceptible entre le toucher et l'action sur l'écran.

Nous testons la qualité de construction, la résistance aux chocs (chutes), la résistance aux rayures et l'étanchéité à l'eau. 

Pour les chocs, nous faisons subir à chaque modèle 100 chutes d'une hauteur de 80 cm. Nous utilisons une boîte tournant sur elle-même et dont l’intérieur est recouvert de carrelage pour simuler une chute sur le sol. Elle effectue 50 rotations complètes qui font tomber le téléphone 100 fois. Nous établissons une cote sur base des dommages (écran fissuré, mais fonctionnel, écran inutilisable, surface arrière cassée, etc.).

Pour la résistance à l'eau, tous les modèles subissent un test de pluie "tropicale" pendant 5 minutes(7,2 litres d’eau à l’heure). L’état du smartphone est évalué juste après, mais aussi 2 et 3 jours plus tard, pour voir s’il "récupère" d’un quelconque dysfonctionnement. Nous donnons un score sur base des dommages potentiels.

Nous immergeons les modèles certifiés étanches (IP67-68) pendant 30 minutes sous 1 ou 1,5 m, en fonction de leur indice d’étanchéité. Cela permet de vérifier si les spécifications annoncées sont correctes ou non. Si le mobile n’est pas certifié étanche, il ne subit pas ce test.

Nous établissons le score de la fonction appel téléphonique en fonction de plusieurs tests, notamment la qualité audio (ou vocale) des appels entrants et sortants. Il s'agit de tests non subjectifs réalisés d'après des standards internationaux. Les spectres audio sont analysés dans diverses situations: en chambre anéchoïque où règne un silence absolu comme en situation de bruit ambiant important. 

Nous testons la sensibilité au réseau d'un mobile avec un simulateur de réseau. Nos équipements permettent de mesurer les champs électromagnétiques sur la surface du smartphone (au cours d'un appel), et ce en différentes positions, afin d'en déduire la bonne ou mauvaise sensibilité de l'antenne. Un mannequin est même utilisé pour estimer les effets d'interférence de la main et de la tête lors de l'appel.

Nous évaluons les fonctions SMS, e-mail et navigation web selon divers tests subjectifs: facilité de la fonction SMS, possibilité d'archivage, facilité d'utilisation du clavier (touches pas trop petites), réponses vibrantes possibles, fonction swype, etc. Dans la même idée pour la fonction e-mail, nous tenons compte des possibilités et de la facilité d'utilisation de l'application: modifier la taille de texte, chercher un mail, répondre et forwarder, attacher des pièces jointes, copier-coller du texte, éditer un brouillon, gérer les pièces jointes, etc. Pour le surf internet, nous tenons compte de la facilité à ouvrir des pages internet, à taper une adresse internet, à passer d’une page ou d’un onglet à l’autre, à pouvoir consulter ses favoris, etc.

Enfin, nous testons aussi la facilité d’emploi globale du téléphone. Des facteurs très variés sont pris en compte, tels que la facilité à activer/désactiver le wifi, le GPS, la 3G-4G, le Bluetooth, la facilité à utiliser la barre de notification, à changer de sonnerie ou de langue, ou encore à modifier le volume.

Un jury composé de 3 personnes évalue la qualité audio du lecteur mp3. Pour ce faire, des fichiers MP3 classiques sont écoutés. Le test est exécuté 2 fois: une première avec les écouteurs inclus à l'achat du smartphone et une seconde avec un casque de studio haute-fidélité. Le score prend également en compte des mesures objectives qui reproduisent les différentes bandes de fréquence diffusées (rapport entre les aigus et les graves) et qui témoignent ou non d'un son bien équilibré.

Nous évaluons aussi la facilité d’emploi du lecteur mp3. La facilité à sélectionner une chanson, à utiliser une liste de chansons prédéfinies, à trier par artiste, etc. rentrent en compte. Un test à l'aveugle est également effectué: facilité à modifier le volume ou à naviguer à travers les pistes sans regarder son smartphone.

Nous testons le GPS des smartphones afin de voir si le positionnement donné est précis. Pour ce faire, avec tous les appareils, nous réalisons un parcours à vélo de 4 km (en zone dégagée et dans les bois). Le signal GPS est enregistré le long du trajet et comparé avec le tracé exact. Plus il se rapproche du cheminement réel, plus le GPS est précis.

Nous étudions aussi la puissance audio maximale en mode navigation GPS. Un volume trop faible sera inadéquat compte tenu du bruit ambiant élevé qu'il peut y avoir dans une voiture en marche.

Notre score de portabilité provient surtout des dimensions du smartphone. Plus il est épais et grand (comme une phablette), moins il sera facile de le transporter, même dans une poche de pantalon. La maniabilité sera également mauvaise (écrire un message à une seule main sera difficile). Ce score prend aussi en compte les méthodes de déverrouillage (schéma à reproduire, lecteur d'empreinte, scan d'iris) et leur efficacité.

Dans notre comparateur, un score est attribué à chaque smartphone, sur une échelle de 0 à 100. Il est le fruit d’une multitude de tests dont les résultats sont pondérés selon l’importance que nous leur donnons. Voici plus en détail d’où provient le score de nos smartphones:

• Perfomances photo et vidéo : 25 %
• Batterie : 15 %
• Ecran : 15%
• Robustesse : 10%
• Processeur et RAM : 7.5%
• Son : 7,5%
• Fiabilité : 5%
• Facilité d'utilisation : 5%
• Connectivité : 5%
• Qualité des appels : 2%
• Sécurité : 2%
• Protection des données : 1%

95 % de la cote finale provient des résultats de tests de notre laboratoire. Les 5 autres concernent la fiabilité de la marque. Celle-ci est issue d’enquêtes de satisfaction regroupant plus de 55.000 avis de consommateurs. Nous établissons un score de fiabilité à l’aide d’une formule prenant en compte l’âge du mobile, le caractère neuf ou de seconde main et surtout le type et la sévérité des problèmes (autonomie, chargeur cassé, écran cassé, bouton cassé, lecteur de carte SIM et micro-SD) ainsi que leurs fréquences.