Возможности инструментов искусственного интеллекта для проверки письменных работ и формулировки обратной связи

Статья посвящена исследованию возможностей генеративного искусственного интеллекта (ИИ) для решения задач оценки письменных работ и предоставления обратной связи на них. Поставлена цель определить возможности и ограничения генеративного ИИ при его использовании для проверки письменноречевой продукции обучающихся и формулировки обратной связи на нее. Для достижения цели осуществлен систематический обзор двадцати двух оригинальных исследований, проведенных в российском и зарубежном контекстах, результаты которых были опубликованы в 2022-2025 годах. Выявлено, что результаты критериального оценивания генеративными моделями согласуются с оценками преподавателей, причем генеративный ИИ превосходит проверяющих в способности оценить язык и аргументацию. На надежность этой оценки, однако, негативное влияние оказывают нестабильность оценивания, галлюцинации генеративных моделей и их ограниченная способность учитывать особенности контекста. Несмотря на детальность и конструктивность обратной связи от генеративного ИИ, она недостаточно конкретна и избыточна, что может затруднить ее восприятие обучающимися. Обратная связь от генеративной модели таргетирует преимущественно локальные недостатки, в то время как проверяющие преподаватели обращают внимание на глобальные проблемы, такие как неполное соответствие содержания заданной теме или нарушения в логике изложения. В отличие от преподавателей, генеративный ИИ дает шаблонную обратную связь, не используя косвенные формулировки и наводящие вопросы, способствующие развитию умений саморегуляции. Тем не менее, эти недостатки можно скорректировать последующими запросами к генеративной модели. Также выявлено, что обучающиеся открыты к получению обратной связи от генеративного ИИ, однако предпочитают получать ее от преподавателей и сверстников. Результаты обсуждаются в контексте использования генеративных моделей для проверки письменных работ и формулировки обратной связи преподавателями иностранного языка. Выводы подчеркивают необходимость критического подхода к использованию генеративных моделей в оценивании письменных работ, а также важность подготовки преподавателей для эффективного взаимодействия с этими технологиями. 

1. Боголепова С.В., Жаркова М.Г. Исследование потенциала генеративных моделей для оценивания эссе и обеспечения обратной связи // Отечественная и зарубежная педагогика. 2024. Т. 1. № 5(101). С. 123–137. doi:10.24412/2224-0772-2024-5-123-137

2. Боголепова С.В., Кирсанова М.А., Пивоварова А.А. Как аукнется, так и откликнется? Отношение студентов-лингвистов к взаимооцениванию и обратной связи // Вестник Томского государственного университета. 2023. № 487. С. 118–128. doi:10.17223/15617793/487/14

3. Константинова Л.В., Ворожихин В.В., Петров А.М., Титова Е.С., Штыхно Д.А. Генеративный искусственный интеллект в образовании: дискуссии и прогнозы [Электронный ресурс] // Открытое образование. 2023. №2. С. 36-48. URL: https://cyberleninka.ru/article/n/generativnyy-iskusstvennyy-intellekt-v-obrazovanii-diskussii-i-prognozy (дата обращения: 18.11.2024).

4. Коренев А.А. Обратная связь в обучении и педагогическом общении [Электронный ресурс] // Rhema. Рема. 2018. №2. C. 112-127. URL: https://cyberleninka.ru/article/n/obratnayasvyaz-v-obuchenii-i-pedagogicheskom-obschenii (дата обращения: 18.11.2024).

5. Сысоев П.В. Использование технологий искусственного интеллекта в обучении иностранному языку: тематика методических работ за 2023 год и перспективы дальнейших исследований // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2024. № 29(2). C. 294-308. https://doi.org/10.20310/1810-0201-2024-29-2-294-308

6. Сысоев П.В., Филатов Е.М. Методика обучения учащихся и студентов написанию эссе в триаде «обучающийся — преподаватель — искусственный интеллект» // Вестн. Моск. ун-та. Сер. 19. Лингвистика и межкультурная коммуникация. 2024. Т. 27. № 2. С. 38–54. doi:10.55959/MSU-2074-1588-19-27-2-3

7. Сысоев П.В., Филатов Е.М.. Хмаренко Н.И., Мурунов С.С. Преподаватель vs искусственный интеллект: сравнение качества предоставляемой преподавателем и генеративным искусственным интеллектом обратной связи при оценке письменных творческих работ студентов // Перспективы науки и образования. 2024. № 5 (71). doi:10.32744/pse.2024.5.41

8. Титова С.В. Технологические решения на базе искусственного интеллекта в обучении иностранным языкам: аналитический обзор // Вестник Московского университета. Сер. 19. Лингвистика и межкультурная коммуникация. 2024. Т. 27. № 2. С. 18–37. doi: 10.55959/MSU-2074-1588-19-27-2-2

9. AI tool user numbers worldwide from 2020-2030 [Электронный ресурс] // Statista Research Department. 09.12.2024. URL: https://www.statista.com/forecasts/1449844/ai-tool-usersworldwide (дата обращения: 26.12.2024).

10. Almassaad A., Alajlan H., Alebaikan R. Student Perceptions of Generative Artificial Intelligence: Investigating Utilization, Benefits, and Challenges in Higher Education // Systems. 2024. Vol. 12. No. 10. Article 385. https://doi.org/10.3390/systems12100385

11. Amobonye A., Lalung J., Mheta G., Pillai S. Writing a Scientific Review Article: Comprehensive Insights for Beginners // The Scientific World Journal. 2024. Article 7822269. https://doi.org/10.1155/2024/7822269

12. Annamalai N., Ab Rashid R., Hashmi U., Mohamed M.H., Alqaryouti M., Sadeq A. Using chatbots for English language learning in higher education // Computers and Education: Artificial Intelligence. 2023. Vol. 5. Article 100153. https://doi.org/10.1016/j.caeai.2023.100153

13. Awidi I.T. Comparing expert tutor evaluation of reflective essays with marking by generative artificial intelligence (AI) tool // Computers and Education: Artificial Intelligence. 2024. Vol. 6(3). Article 100226. https://doi.org/10.1016/j.caeai.2024.100226

14. Bahroun Z., Anane C., Ahmed V., Zacca A. Transforming Education: A Comprehensive Review of Generative Artificial Intelligence in Educational Settings through Bibliometric and Content Analysis // Sustainability. 2023. Vol. 15(17). Article 12983. https://doi.org/10.3390/su151712983

15. Banihashem S. K., Kerman N. T., Noroozi O., Moon J., Drachsler H. Feedback sources in essay writing: peer-generated or AI-generated feedback? // International Journal of Educational Technology in Higher Education. 2024. Vol. 21. № 1. Article 23. https://doi.org/10.1186/s41239-024-00455-4

16. Benedetto L., Gaudeau G., Caines A., Buttery P. Assessing how accurately large language models encode and apply the common European framework of reference for languages // Computers and Education: Artificial Intelligence. 2025. Vol. 8. Article 100353. https://doi.org/10.1016/j.caeai.2024.100353

17. Bouziane K., Bouziane A. AI versus human effectiveness in essay evaluation // Discover Education. 2024. Vol. 3(1). Article 201. https://doi.org/10.1007/s44217-024-00320-6

18. Chan C.K.Y., Hu W. Students’ voices on generative AI: perceptions, benefits, and challenges in higher education // International Journal of Educational Technology in Higher Education. 2023. Vol. 20(1). Article 43. https://doi.org/10.1186/s41239-023-00411-8

19. Chan S., Lo N., Wong A. Generative AI and Essay Writing: Impacts of Automated Feedback on Revision Performance and Engagement. rEFLections. 2024. Vol. 31. № 3. 1249-1284. https://doi.org/10.61508/refl.v31i3.277514

20. Crompton H., Burke D. Artificial intelligence in higher education: the state of the field // International Journal of Educational Technology in Higher Education. 2023. Vol. 20(1). Article 22. https://doi.org/10.1186/s41239-023-00392-8

21. Crompton H., Edmett A., Ichaporia N., Burke D. AI and English language teaching: Affordances and challenges // British Journal of Educational Technology. 2024. Vol. 55. № 6. P. 2503- 2529. https://doi.org/10.1111/bjet.13460

22. Dai W., Lin J., Jin F., Li T., Tsai Y., Gasevic D., Chen G. Can Large Language Models Provide Feedback to Students? A Case Study on ChatGPT // EdArXiv Preprint. 2023. https://doi.org/10.35542/osf.io/hcgzj

23. Escalante J., Pack A., Barrett A. AI-generated feedback on writing: insights into efficacy and ENL student preference // International Journal of Educational Technology in Higher Education. 2023. Vol. 20. Article 57. https://doi.org/10.1186/s41239-023-00425-2

24. Evans J., Benefield P. Systematic Reviews of Educational Research: Does the Medical Model Fit? // British Educational Research Journal. 2001. Vol. 27. № 5. P. 527-541. https://doi.org/10.1080/01411920120095717

25. Fan L., Li L., Ma Z., Lee S., Yu H., Hemphill L. A Bibliometric Review of Large Language Models Research from 2017 to 2023 // ACM Transactions on Intelligent Systems and Technology. 2024. Vol. 15. № 5. Article 91. P. 1-25. https://doi.org/10.1145/3664930

26. Gombert S., Fink A., Giorgashvili T., Jivet I., Di Mitri D., Yau J., Frey A., Drachsler H. From the Automated Assessment of Student Essay Content to Highly Informative Feedback: a Case Study // International Journal of Artificial Intelligence in Education. 2024. Volume 34. P. 1378-1416. https://doi.org/10.1007/s40593-023-00387-6

27. Guo K., Wang D. To resist it or to embrace it? Examining ChatGPT’s potential to support teacher feedback in EFL writing // Education and Information Technologies. 2024. Vol. 29. No. 7. Pp. 8435–8463. https://doi.org/10.1007/s10639-023-12146-0

28. Gupta P., Ding B., Guan Ch., Ding D. Generative AI: A systematic review using topic modelling techniques // Data and Information Management. 2024. Vol. 8. № 2. Article 100066. https://doi.org/10.1016/j.dim.2024.100066

29. Hattie J., Timperley H. The Power of Feedback // Review of Educational Research. 2007. Vol. 77. № 1. Pp. 81–112. https://doi.org/10.3102/003465430298487

30. Hirunyasiri D., Thomas D.R., Lin J., Koedinger K.R., Aleven V. Comparative analysis of GPT-4 and human graders in evaluating praise given to students in synthetic dialogues // EdArXiv Preprint. 2023. https://doi.org/10.48550/arXiv.2307.02018

31. Hussein M.A., Hassan H., Nassef M. Automated language essay scoring systems: a literature review // PeerJ Computer Science. 2019. Vol. 5. Article e208. http://doi.org/10.7717/peerjcs.208

32. Iorliam A., Ingio J.A. A Comparative Analysis of Generative Artificial Intelligence Tools for Natural Language Processing // Journal of Computing Theories and Applications. 2024. Vol. 1. № 3. P. 311–325. https://doi.org/10.62411/jcta.9447

33. Jansen T., Höft L., Bahr L., Fleckenstein J., Möller J., Köller O., Meyer J. Comparing Generative AI and Expert Feedback to Students’ Writing: Insights from Student Teachers // Psychologie in Erziehung und Unterricht. 2024. Vol. 71. No. 2. P. 80–92. http://dx.doi.org/10.2378/peu2024.art08d

34. Jauhiainen J.S., Garagorry Guerra A. Generative AI in education: ChatGPT-4 in evaluating students’ written responses // Innovations in Education and Teaching International. 2024. Pp. 1–18. https://doi.org/10.1080/14703297.2024.2422337

35. Jiang Z., Xu Z., Pan Z., He J., Xie K. Exploring the Role of Artificial Intelligence in Facilitating Assessment of Writing Performance in Second Language Learning // Languages. 2023. Vol. 8. № 4. Article 247. https://doi.org/10.3390/languages8040247

36. Kasneci E. et al. ChatGPT for good? On opportunities and challenges of large language models for education // Learning and Individual Differences. 2023. Vol. 103. Article 102274. https://doi.org/10.1016/j.lindif.2023.102274

37. Kinder A. et al. Effects of adaptive feedback generated by a large language model: A case study in teacher education // Computers and Education: Artificial Intelligence. 2025. Vol. 8. Article 100349. https://doi.org/10.1016/j.caeai.2024.100349

38. Kumar R. Faculty members’ use of artificial intelligence to grade student papers: a case of implications // International Journal for Educational Integrity. 2023. Vol. 19. № 1. Article 9. https://doi.org/10.1007/s40979-023-00130-7

39. Li B., Lowell V.L., Wang Ch., Li X. A systematic review of the first year of publications on ChatGPT and language education: Examining research on ChatGPT’s use in language learning and teaching // Computers and Education: Artificial Intelligence. 2024. Volume 7. Article 100266. https://doi.org/10.1016/j.caeai.2024.100266

40. Li W., Liu H. Applying large language models for automated essay scoring for non-native Japanese // Humanities and Social Sciences Communications. 2024. Vol. 11. Article 723. https://doi.org/10.1057/s41599-024-03209-9

41. Lin Sh., Crosthwaite P. The grass is not always greener: Teacher vs. GPT-assisted written corrective feedback // System. 2024. Vol. 127. Article 103529. https://doi.org/10.1016/j.system.2024.103529

42. Lye Ch.Y., Lim L. Generative Artificial Intelligence in Tertiary Education: Assessment Redesign Principles and Considerations // Education Sciences. 2024. Vol. 14. № 6. Article 569. https://doi.org/10.3390/educsci14060569

43. Meyer J., Jansen T., Schiller R., Liebenow L.W., Steinbach M., Horbach A., Fleckenstein J. Using LLMs to bring evidence-based feedback into the classroom: AI-generated feedback increases secondary students’ text revision, motivation, and positive emotions // Computers and Education: Artificial Intelligence. 2024. Vol. 6. Article 100199. https://doi.org/10.1016/j.caeai.2023.100199

44. Mizumoto A., Eguchi M. Exploring the potential of using an AI language model for automated essay scoring // Research Methods in Applied Linguistics. 2023. Vol. 2. № 2. Article 100050. https://doi.org/10.1016/j.rmal.2023.100050

45. Mizumoto A., Shintani N., Sasaki M., Feng Teng M. Testing the viability of ChatGPT as a companion in L2 writing accuracy assessment // Research Methods in Applied Linguistics. 2024. Vol. 3. № 2. Article 100116. https://doi.org/10.1016/j.rmal.2024.100116

46. Pack A., Barrett A., Escalante J. Large language models and automated essay scoring of English language learner writing: Insights into validity and reliability // Computers and Education: Artificial Intelligence. 2024. Vol. 6. Article 100234. https://doi.org/10.1016/j.caeai.2024.100234

47. Saini A.K., Cope B., Kalantzis M., Zapata G.C. The Future of Feedback: Integrating Peer and Generative AI Reviews to Support Student Work // EdArXiv preprint. 2024. https://doi.org/10.35542/osf.io/x3dct

48. Sidorkin A.M. Embracing Chatbots in Higher Education: The Use of Artificial Intelligence in Teaching, Administration, and Scholarship. New York: Routledge, 2024. https://doi.org/10.4324/9781032686028

49. Stahl M., Biermann L., Nehring A., Wachsmuth H. Exploring LLM Prompting Strategies for Joint Essay Scoring and Feedback Generation [Электронный ресурс] // Proceedings of the 19th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2024). Mexico City, Mexico. Association for Computational Linguistics, 2024. Pp. 283–298. URL: https://aclanthology.org/2024.bea-1.23 (дата обращения: 15.12.2024).

50. Steiss J., Tate T., Graham S., Cruz J., Hebert M., Wang J., Moon Y., Tseng W., Warschauer M., Olson C.B. Comparing the quality of human and ChatGPT feedback of students’ writing // Learning and Instruction. 2024. Vol. 91. Article 101894. https://doi.org/10.1016/j.learninstruc.2024.101894

51. Wang N., Wang X., Su Y.Sh. Critical analysis of the technological affordances, challenges and future directions of Generative AI in education: a systematic review // Asia Pacific Journal of Education. 2024. Vol. 44. № 1. P. 139–155. https://doi.org/10.1080/02188791.2024.2305156

52. Winstone N., Boud D., Dawson P., Heron M. From feedback-as-information to feedback-as-process: a linguistic analysis of the feedback literature // Assessment & Evaluation in Higher Education. 2021. Vol. 47. No. 2. Pp. 213–230. https://doi.org/10.1080/02602938.2021.1902467

53. Wu H., Wang W., Wan Y., Jiao W., Lyu M. ChatGPT or Grammarly? Evaluating ChatGPT on Grammatical Error Correction Benchmark // ArXiv preprint. 2023. arXiv:2303.13648. https://doi.org/10.48550/arxiv.2303.13648

54. Yu, H., Guo Y. Generative artificial intelligence empowers educational reform: current status, issues, and prospects // Frontiers in Education. 2023. Vol. 8. Article 1183162. https://doi.org/10.3389/feduc.2023.1183162