Une organisation lourde et coûteuse
Organiser un test de matériel de sport ne s’improvise pas. C’est une organisation en générale lourde et coûteuse. Il faut en effet définir une méthodologie, contacter les marques, organiser la logistique pour la réception/réexpédition des produits, recruter des testeurs, les former à la méthodologie du test, mettre en place la structure locale de test (tentes, tables, fiches de test, etc.), débriefer avec les testeurs et rédiger les résultats.
Pour cette raison il est important de soutenir les éditeurs en achetant les magazines de tests, en s’abonnant aux sites ou magazines et en achetant le matériel via les liens sponsorisés sur leur site. Il en va de leur indépendance vis à vis des marques et de notre intérêt à tous.
Les qualités d’un test de matériel
Indépendant
Les résultats de test doivent bien en tendu être indépendants des intérêt commerciaux de l’éditeur. D’un autre côté, les éditeurs de tests ont besoin de financer leurs tests, souvent par le biais de publicité ou commissionnement sur les achats. Il faut donc vérifier que les revenus publicitaires du test ne favorisent pas quelques produits ou fabricants. C’est la raison pour laquelle il est important de comparer les résultats des tests entre eux pour détecter un éventuel délit de favoritisme.
Discriminatoire
Un bon test doit être discriminatoire. Il doit permettre de distinguer les meilleurs produits pour un segment du marché déterminé. C’est loin d’être évident car il existe une forte pression des fabricants, qui peuvent menacer de boycoter le test ou de geler les budgets publicitaire lorsque les résultats des tests ne sont pas en leur faveur. Les tests sont souvent gérés par les services marketing des marques de sport et qu’ils sont considérés comme un moyen de communiquer sur le produit.
Il peut alors être tentant pour certains éditeurs de test, « pour faire plaisir à tout le monde », de « distribuer » équitablement les bonnes notes et les médailles. Au final, cela dessert l’objectif intrinsèque du test : permettre au pratiquant de savoir ce qu’il achète. Nous évitons donc les tests qui ne permettent pas de juger suffisamment des qualités d’un produit par rapport un autre.
D’autres éditeurs de tests achètent les produits (OutdoorGearLab notamment) pour avoir une plus grande liberté rédactionnelle. C’est une bonne chose mais cela limite la gamme testée.
Sur le terrain
Le matériel doit être testé en situation, sur le terrain. De plus les conditions du test doivent être adaptées. Par exemple, des tests de skis de freeride doivent être réalisés en hors-piste, dans de la neige profonde. Des flotteurs de windsurf wave ou freewave doivent être testés dans les vagues. C’est évidement très contraignant et coûteux pour les éditeurs.
De nombreux soit-disant « tests » disponibles sur internet sont simplement réalisés à partir de la fiche technique des produits ou des avis sur Amazon. Ils n’ont bien entendu aucune valeur.
Le nec plus ultra : le test comparatif
L’évaluation sur un équipement de sport peut être variable en fonction du testeur et des conditions de tests. Les meilleurs tests sont les tests comparatifs, qui imposent de faire évaluer les mêmes produits par les même testeurs dans les mêmes conditions sur une même période. Cette méthodologie très contraignante, car les conditions de tests peuvent évoluer très rapidement (neige, vague, vent, etc.). De plus, cela limite le nombre de produits testés. Les tests vraiment comparatifs sont rares, mais ce sont souvent les meilleurs.
Technicité et expérience des testeurs
Pour tester fiablement un équipement de sport il faut avoir un « référentiel », c’est à dire avoir essayé de nombreux modèles. L’expérience produits des testeurs est donc cruciale. De plus le niveau de technicité des testeurs doit être suffisant et en rapport avec les modèles testés. Par exemple, des skis de slalom et de géant doivent être évalués par des testeurs qui ont une expérience de la compétition.
Le test des produits grand public destinés à des pratiquants peu expérimentés est parfois problématique, la cible de ces matériels n’a pas l’expérience requise pour faire une évaluation fiable. Il faut alors souvent demander à des testeurs expérimentés d’adapter leur technique en conséquence.
Poids et morphologie des testeurs
Dans de nombreux sports (ski, windsurf, etc), la taille ou volume du modèle testé est prévue pour un certain gabarit. Il est important que le poids et la morphologie des testeurs soient adaptés (ou pas trop éloignés).
Quelle fiabilité des résultats d’un test de matériel ?
On entend souvent dire que les tests ne sont pas fiables car les résultats sont différents. Oui et non. Il faut être conscient que l’on ne teste pas une paire de skis ou de chaussures de randonnée comme une simple boite de conserve.
- Chaque test a sa propre méthodologie, son équipe de testeurs qui peuvent chacun avoir un ressenti différent sur les produits, en fonction de leur expérience, leur technique, etc.
- Les conditions de terrain, de météo peuvent être différentes.
- Les produits testés (souvent prêtés par les fabricants à plusieurs éditeurs de tests) peuvent avoir des niveaux de fatigue et d’usure différents.
Il est par conséquent parfaitement normal que les résultats soient différents. Cependant, cela ne remet pas en cause la fiabilité des tests dans leur contexte. Par ailleurs, il existe souvent un consensus sur les produits.
L’intérêt d’une synthèse des tests à l’échelle internationale
La synthèse des tests à l’échelle internationale permet, indépendamement des qualités et défaut de chacun, de repérer les meilleurs produits du march afin de donner le meilleur conseil possible au consommateur.
Comment identifions-nous les meilleurs tests ?
Tout simplement en suivant un certain nombre de critères indiqués ci-dessus et en analysant les résultats. Ainsi nous ne retenons pas les tests :
- Qui ne sont pas réalisés sur le terrain,
- Dont la technicité n’est pas suffisante,
- Qui ne sont pas suffisamment discriminatoires,
- Dont les résultats en contradiction avec un consensus des éditeurs ne sont pas explicables ou favorisent certaines marques,
- Dont la segmentation produits n’est pas claire.
Par ailleurs nous retenons pas les tests qui ne sont pas exploitables sur internet par le biais d’une page web ou du téléchargement facile du magazine.
Que dire des avis consommateurs ?
Les avis consommateurs n’apportent aucune garantie de méthodologie, d’indépendance ou de technicité, et ne remplacent pas les tests. Mais il peuvent apporter un contenu complémentaire intéressant, en particulier s’agissant de l’utilisation du produit sur la durée. Certains sont donc référencés sur GearSCORE.
Comment identifiez vous les « meilleurs produits » ?
Nous nous basons sur les résultats des tests sélectionnés, parfois complétés par notre propre expérience du produit. La notion de « meilleur produit » est cependant à prendre avec des pincettes. Elle est utilisée sur le site car elle répond à une demande des internautes dans les moteurs de recherche. Il faut cependant comprendre qu’il n’existe jamais de « meilleur produit » au sens absolu du terme. Le meilleur snowboard ou la meilleure voile de windsurf est toujours celui ou celle qui répond aux besoins spécifiques d’un pratiquant en terme de niveau technique, de pratique, terrain, etc.