Comprendre les mauvais résultats aux QCMs
Mon collègue vient de passer le test Symfony et son résultat est plutôt moyen pour un expert. Comment ça s'explique ?
On a demandé à Lucie de passer 4 QCM autour d'Angular. Elle a eu des résultats qui vont de 1% à 89%
89%, cela veut dire que 89% des candidats ont fait un meilleur résultat que notre candidate.
Top 1% cela veut dire qu'elle est meilleure que 99% des candidats.
Lucie est donc bien plus compétente sur Angular 4 que sur Angular JS et c'est très probable qu'elle n'ait jamais fait d'Angular.
Lucie a passé ce QCM, il y a deux ans. Il y a deux ans, elle était Top 16% sur Angular 4. Mais aujourd'hui, Angular 4 est très déprécié. Et quand elle est comparée aux candidats des 6 derniers mois, son score parait bien meilleur. C'est normal parce que la population générale des développeurs est de moins en moins compétente sur Angular 4.
Une personne, même junior qui fait un bon score sur un QCM montre qu'elle a beaucoup de connaissances sur le sujet du QCM. Cela ne veut pas forcément dire qu'en pratique elle sera capable de faire du meilleur code qu'un autre ou que ses applications seront plus performantes. Cela montre que cette personne s'est intéressée à la technologie et a appris beaucoup de choses.
Par exemple, un expert peut très bien, au quotidien, faire du Angular, des applications robustes et appréciées des utilisateurs. Et pour autant, il peut ne pas avoir un bon score sur le QCM Angular. Les bonnes réponses lui viennent spontanément dans l'IDE dans son environnement de dev, mais pas face au QCM.
C'est aussi pour cette raison que les QCMs donnent de bonnes opportunités aux juniors. Ils évaluent les connaissances en étant moins biaisés par l'expérience.
Aussi, les développeurs plus expérimentés ont tendance à retenir uniquement ce qui leur est utile au quotidien. Une connaissance exhaustive sur la technologie ou sur le JavaScript ne leur étant pas utile, ils peuvent vite trouver leurs limites face à un QCM. Alors que les étudiants, qui manquent de pratique, apprennent tout de manière encyclopédique.
Peut-être que ce n'était pas le bon jour, les bonnes conditions. Le QCM peut aussi être utilisé pour faire le point dans la carrière d'un collaborateur et l'encourager à se former ou passer des certifications.
Le plus souvent, les QCMs sont configurés pour proposer un jeu de questions aléatoires avec une difficulté similaire pour tous les candidats. Nous nous appuyons sur une base de 3200 questions contribuées et maintenues par la communauté chaque jour. Aussi, vous pouvez reproposer à un candidat ou un collaborateur de repasser le même test et il aura des questions différentes.
Vous pouvez proposer au collaborateur aussi de préparer l'examen en révisant la documentation avant de lancer le test. Beaucoup de candidats "bachotent" pour passer les entretiens d'entreprises de manière générale.
Est-ce que l'on lit bien les résultats ?
On a demandé à Lucie de passer 4 QCM autour d'Angular. Elle a eu des résultats qui vont de 1% à 89%
89%, cela veut dire que 89% des candidats ont fait un meilleur résultat que notre candidate.
Top 1% cela veut dire qu'elle est meilleure que 99% des candidats.
Lucie est donc bien plus compétente sur Angular 4 que sur Angular JS et c'est très probable qu'elle n'ait jamais fait d'Angular.
L'évaluation évolue dans le temps
Lucie a passé ce QCM, il y a deux ans. Il y a deux ans, elle était Top 16% sur Angular 4. Mais aujourd'hui, Angular 4 est très déprécié. Et quand elle est comparée aux candidats des 6 derniers mois, son score parait bien meilleur. C'est normal parce que la population générale des développeurs est de moins en moins compétente sur Angular 4.
Les QCMs ne reflètent pas forcément la compétence dans la pratique
Une personne, même junior qui fait un bon score sur un QCM montre qu'elle a beaucoup de connaissances sur le sujet du QCM. Cela ne veut pas forcément dire qu'en pratique elle sera capable de faire du meilleur code qu'un autre ou que ses applications seront plus performantes. Cela montre que cette personne s'est intéressée à la technologie et a appris beaucoup de choses.
Par exemple, un expert peut très bien, au quotidien, faire du Angular, des applications robustes et appréciées des utilisateurs. Et pour autant, il peut ne pas avoir un bon score sur le QCM Angular. Les bonnes réponses lui viennent spontanément dans l'IDE dans son environnement de dev, mais pas face au QCM.
C'est aussi pour cette raison que les QCMs donnent de bonnes opportunités aux juniors. Ils évaluent les connaissances en étant moins biaisés par l'expérience.
Aussi, les développeurs plus expérimentés ont tendance à retenir uniquement ce qui leur est utile au quotidien. Une connaissance exhaustive sur la technologie ou sur le JavaScript ne leur étant pas utile, ils peuvent vite trouver leurs limites face à un QCM. Alors que les étudiants, qui manquent de pratique, apprennent tout de manière encyclopédique.
On peut repasser le QCM aussi
Peut-être que ce n'était pas le bon jour, les bonnes conditions. Le QCM peut aussi être utilisé pour faire le point dans la carrière d'un collaborateur et l'encourager à se former ou passer des certifications.
Le plus souvent, les QCMs sont configurés pour proposer un jeu de questions aléatoires avec une difficulté similaire pour tous les candidats. Nous nous appuyons sur une base de 3200 questions contribuées et maintenues par la communauté chaque jour. Aussi, vous pouvez reproposer à un candidat ou un collaborateur de repasser le même test et il aura des questions différentes.
Vous pouvez proposer au collaborateur aussi de préparer l'examen en révisant la documentation avant de lancer le test. Beaucoup de candidats "bachotent" pour passer les entretiens d'entreprises de manière générale.
Mis à jour le : 28/11/2023
Merci !