ChatGPT : une nouvelle ère pour l'apprentissage de la comptabilité ?

ChatGPT moins performant que les étudiants en comptabilité

Dans le cadre de cette étude, un groupe de 327 coauteurs de 186 institutions éducatives à travers le monde a évalué les performances de ChatGPT en comptabilité. 25 817 questions couvrant des sujets tels que les systèmes d'information comptable (AIS), l'audit, la comptabilité financière, la comptabilité de gestion et la fiscalité ont été soumises à l'intelligence artificielle.

Les résultats montrent que les étudiants ont obtenu en moyenne un score de 76,7%, tandis que ChatGPT a obtenu 47,4% (ou 56,5% en incluant les bonnes réponses partielles). ChatGPT a cependant surpassé la moyenne des étudiants dans 11,3% à 15,8% des évaluations, selon si on prend ou non en compte les bonnes réponses partielles.

Une IA plus performante pour répondre à des QCM qu'à des QCR

L'étude montre également des différences de performance de ChatGPT en fonction du domaine des questions d'évaluation. Par exemple, ChatGPT a mieux performé sur les questions d'AIS et d'audit par rapport aux questions de fiscalité, de comptabilité financière et de gestion.

ChatGPT a par ailleurs obtenu de meilleurs résultats sur les questions à choix multiples et vrai/faux (68,7% et 59,5% respectivement), mais a eu des difficultés avec les questions à réponses courtes (28,7% et 39,1% respectivement).

Les auteurs de l'étude soulignent que ChatGPT n'a pas été spécifiquement formé sur des questions de comptabilité, et qu'il est donc possible que certaines nuances et contextes spécifiques aient échappé à sa compréhension : « les enseignants et les auteurs de manuels conçoivent souvent des questions pour évaluer la compréhension nuancée des étudiants en comptabilité, et ces nuances pourraient ne pas être saisies par les algorithmes d'IA ».

Une opportunité pour les enseignants en comptabilité

L'étude va plus loin, soulignant la nécessité pour les enseignants en comptabilité de s'adapter à l'évolution rapide de la technologie de l'IA et donc de s'emparer de ces sujets. 

Selon les auteurs, les enseignants en comptabilité doivent réfléchir dès maintenant à l'utilisation de l'IA dans leurs enseignements, et s'interroger notamment sur :

• la manière dont les étudiants devraient être autorisés à utiliser l'IA ;

• les sources qui devraient être utilisées pour entraîner les algorithmes ;
• comment les interactions avec l'IA pourraient améliorer l'apprentissage des étudiants.

L'étude recommande par ailleurs aux enseignants en comptabilité de se concentrer sur les compétences humaines et la valeur ajoutée qu'ils apportent au-delà de ce que l'IA peut offrir. 

Cela pourrait inclure des compétences en résolution de problèmes complexes, en communication, en déontologie, éthique et jugement professionnel, qui sont essentielles dans le domaine de la comptabilité et difficiles à reproduire pour les algorithmes d'IA.

Les risques liés à l'intelligence artificielle

Toutefois, pour les auteurs, l'utilisation d'outils comme ChatGPT n'est pas sans risques. L'un des principaux problèmes serait la possibilité que ChatGPT fournisse des réponses incorrectes, nuisant ainsi à l'apprentissage des étudiants.

De plus, certains étudiants pourraient utiliser ChatGPT pour tricher, court-circuitant ainsi le processus d'apprentissage. Pour lutter contre la triche, diverses mesures sont suggérées :

• des examens oraux ;
• des évaluations dans des environnements coupés de tous moyens de communication électroniques ;
• des examens axés sur des présentations ou des travaux de recherche ;
• des « pré-tests » des examens avec ChatGPT pour évaluer la capacité de l'IA à répondre aux questions, et se concentrer ainsi sur des problématiques plus difficiles à résoudre par l'IA ;
• l'utilisation généralisée d'outils anti-plagiat. 

L'étude met également en garde contre le risque de plagiat involontaire. Les réponses issues de ChatGPT peuvent en effet être identiques à des ressources tierces disponibles publiquement, sur lesquelles l'algorithme aurait été entraîné. Un véritable travail de sensibilisation auprès des étudiants devrait être mené dans ce domaine.