Comment faire un bon test de matériel et rester objectif ?
Par Tests - Commentaires : 19 .
le lundi 4 novembre 2013 10:33 -Suite à mon récent test du Lapierre Xelius EFI 400 FDJ, j'ai eu un commentaire remettant en cause mon objectivité et le protocole de mon test :
essai complétement subjectif comme on peut en lire tous les mois dans les magazines. C'est sur que si tu commences à dire du mal d'un vélo, tu risques de voir Lapierre ou une autre marque ne plus te prêter du matériel à essayer. Plus de prêt, plus de pseudo essai, plus de reportage, plus de blog. De plus, on ne peut se faire une idée d'un vélo en trois semaines, à moins de faire une sortie de 100 kilomètres tous les jours sur tous les terrains. Bref à te croire un vélo parfait ce Lapierre......ce que je doute pour en avoir eu un. Un bon vélo mais pas de quoi en faire un article encenseur avec aucun défaut
Un commentaire qui ne fait pas spécialement plaisir mais qui peut être légitime. Je vais donc tenter de m'expliquer ci-dessous.
Objectivité et subjectivité de l'être humain
Par la force des choses, même si on essaie d'être le plus objectif possible, il y a toujours une part de subjectivité dans les tests. En effet, on se réfère toujours, pour un test, à ce que l'on connaît déjà. C'est donc subjectif. Et le ressenti de chaque essayeur n'est pas toujours le même. En fonction de chaque essayeur, le test peut varier. Et c'est vrai pour toutes sortes de tests. Dans l'automobile, la cuisine, ...
Si une personne aime le citron, elle pourra trouver une recette au citron délicieuse, alors que celle qui ne l'aime pas donnera une note moindre...et pourtant, il s'agira de la même recette.
Je m'efforce d'être toujours le plus objectif possible, mais je ne pourrai jamais l'être à 100%, comme tout être humain. Mes expériences et tests passés rentrant automatiquement en ligne de compte.
Froid comme un robot ?
Seul un robot peut être totalement objectif. A la manière des tests pneumatiques des magazines qui donnent des données chiffrées de tests avec telle distance parcourue, tel angle de décrochage sur le sec, le mouillé, telle distance de freinage.
Mais même dans ce cas, les tests sont critiqués, car peu représentatifs de ce qui se passe vraiment sur la route.
On lit ici et là que le rouleau utilisé pour le test n'est pas idéal car n'est pas constitué de goudron (il est parfois lisse). Mais quel goudron serait le plus représentatif ? De l'enrobé comme sur autoroute (dans ce cas, celui qui roule sur de mauvaises routes ne le trouvera pas représentatif des routes sur lesquelles il roule) ou du gros granulat comme sur de mauvaises routes de campagne (mais ça n'ira pas à celui qui roule sur de bonnes routes en général).
Diktat des marques et rémunération ?
Voilà une autre remarque qui revient souvent et qui a toujours existé, même pour les magazines de presse. Impossible de dire du mal d'une marque sous peine de ne plus avoir de matériel en test de leur part.
De tous temps, l'objectivité des essayeurs a été remise en cause de cette façon. Les marques investissant en publicité dans les magazines, le testeur ne peut pas dire trop de mal de cette marque qui, grâce à la publicité, rémunère le testeur, même indirectement.
De mon côté, je n'ai pas attendu d'avoir des prêts de matériel pour faire ce blog. D'ailleurs, le vélo Lapierre est le premier vélo que l'on me prête alors que le blog existe depuis Mai 2011. Aucune marque ne paye pour être présente sur Matos Vélo. Je touche certes des revenus, mais via des régies d'affiliation, c'est donc totalement déconnecté des marques.
Ça me fait plaisir de tester du matériel, mais 80% des articles sont de l'information. Les tests ne représentent pas la majorité de mes écrits. Si plus aucune marque ne me prête de matériel, ce ne sera pas bien grave pour le blog. J'aurai toujours de quoi dire.
Ce sera dommage car j'aime ça, mais pas dramatique. D'ailleurs, ce n'est pas dit que Lapierre me prête à nouveau un vélo...
Les marques sont en général réglos et prêtent du matériel en sachant que l'on peut dire du mal, soulever des points négatifs. Mais c'est aussi leur intérêt, ça leur permet d'avoir des remontées pour améliorer leurs produits.
Protocole de test
De plus, on ne peut se faire une idée d'un vélo en trois semaines, à moins de faire une sortie de 100 kilomètres tous les jours sur tous les terrains.
Les protocoles de tests sont toujours décriés, car aucun ne peut être parfait à mon avis. 3 semaines insuffisantes ? Mais alors combien faut-il de temps ? Rares sont les magazines à tester plus longtemps un vélo. La personnes indique qu'il faudrait faire 100kms tous les jours pendant 3 semaines.
Et combien de particuliers peuvent alors vraiment tester précisément un vélo avant achat ? Combien peuvent se faire prêter des vélos pendant un mois ?
Est-ce que faire 2000kms avec un vélo serait un gage de meilleure objectivité, de meilleure sensibilité ? Pas sûr à mon avis. J'ai fait quelques sorties de 100kms pour juger du confort apporté sur plus de 3h. Mais pour juger de la nervosité et autres points, 50kms peuvent suffire.
J'ai tenté de le faire sur de multiples terrains. Plat, bonnes et mauvaises routes, descentes et côtes. Pas de cols effectivement. Mais est-ce que les journalistes de Le Cycle et autres vont toutes les semaines tester les vélos dans les cols...alors qu'ils sont à Paris ?
Mes tests n'ont pas valeur de vérité absolue. Je donne simplement mon avis, du mieux possible et le plus objectivement possible. Libre ensuite à la personne qui lit mon compte-rendu de se faire une idée sur l'utilité ou non de mes remarques.
Mais si certains ont des idées de protocoles précis afin qu'un test vélo soit mieux réalisé, je suis ouvert à toute remarque.
Fil des commentaires de ce billet