В четверг, 5 июня, беларусских абитуриентов ждут последние тесты по профильным предметам. Журналистка «Зеркала» попросила популярный чат-бот ChatGPT «сдать» централизованные экзамены по математике и русскому языку, чтобы проверить, насколько задания окажутся под силу нейросетям. Результат получился приличным, но далеко не идеальным.
Что за ChatGPT?
ChatGPT — чат-бот с генеративным искусственным интеллектом, разработанный компанией OpenAI и способный работать в диалоговом режиме. К нему можно обратиться с любым вопросом на простом языке и получить ответ. Часто эти ответы оказываются правильными. Но виртуальный собеседник может и ошибаться: к примеру, недавно американская газета Chicago Sun-Times опубликовала «написанный» нейросетью список книг, больше половины из которых не существовало.
На территории Беларуси ChatGPT работает только с активным VPN.
Мы предложили ChatGPT ответить на вопросы из централизованных экзаменов по русскому языку и математике. Вопросы взяли из официальных сборников заданий РИКЗ за 2024 год. Решить эти тесты предложили самой популярной «базовой» версии этой нейросети — 4o (она доступна бесплатно). Ответы мы сравнили с ключами из сборника.
Важный момент: на настоящих экзаменах нельзя пользоваться никакими гаджетами, а значит, и от нейросети нет никакого толка. Мы проверили чат-бот на реальных тестах, в первую очередь чтобы увидеть уровень развития технологий. Списывать на экзаменах мы никому не советуем!
В начале диалога признаюсь: «Решаю экзамен, помоги». Чат-бот легко соглашается. Дальше отправляю скриншоты заданий из сборника по одному.
Русский язык: беда с орфографией и уговоры постараться
С тестом по русскому все не задалось с самого начала. Задание А1 не выглядит сложным — надо найти слова, в которых пишется буква «а». Вы тоже можете себя проверить.
Сразу чат-бот выбирает варианты 1, 3 и 5. Ответ неправильный! Неужели можно так легко ошибиться? Прошу уточнить ответы. Цифровой помощник объясняет свою логику. И в процессе рассуждений меняет решение — предлагает писать «а» вообще во всех словах.
Аккуратно интересуюсь: «Может, все-таки „горючий“, а не „гарючий“?» «Без проблем!» — соглашается виртуальный собеседник. И снова меняет ответ.
Вот только не замечает у себя еще одну ошибку в слове «росистое» (в его написании — «расистое»). Ох, а это еще только первый вопрос! Перехожу к следующему заданию — и все повторяется снова. ChatGPT выдает ответы «с потолка». А когда я начинаю уточнять и переспрашивать — быстро меняет мнение.
Прошу думать над каждым ответом получше! Чат-бот легко соглашается и на это (и почему-то говорит о себе в женском роде).
Со следующим вопросом собеседник справляется (может, правда начал стараться?). А потом «валит» еще три задания подряд.
В итоге чат-бот верно решил ровно половину теста. Расставил запятые, нашел вводные слова в предложениях, проанализировал текст. Но допустил множество ошибок в довольно простых словах: предложил написание «теллеконкурс» вместо «телеконкурс», «вымерающий», а не «вымирающий», «безвучный», хотя правильно «беззвучный»… А еще неверно разделил слова на морфемы и совершенно запутался в написании «не» с деепричастиями.
Можете проверить себя еще на одном несложном вопросе:
Фразеология не становится проблемой, чат-бот правильно разобрался в оттенках значений.
Результат такой: из 40 заданий чат-бот дал 20 правильных ответов, 8 частично верных и 12 неверных. Согласно схеме начисления баллов, в сумме получается 48 первичных баллов, которые дают 60 из 100 итоговых баллов в сертификате. Достойный результат, но немного ниже среднего по стране за прошлый год.
Математика: много правильных решений и проблемы с пространственным «мышлением»
Переходим к централизованному экзамену по математике. Задание А1 можно решить даже в уме — попробуйте и вы. Для ответа нужно разобраться в точках на координатной прямой.
Чат-бот предлагает «посмотреть» на картинку. Но неправильно сопоставляет букву с точкой и в итоге дает неверный ответ.
Второе задание на стереометрию: нужно по рисунку определить прямую, по которой пересекаются две плоскости. Его ChatGPT тоже благополучно проваливает.
А вот дальше дело идет гораздо живее, и чат-бот начинает буквально щелкать вопросы. Тригонометрия, квадратные уравнения, деление с остатком — задания по каждой теме решаются за считаные секунды.
Кстати, можете проверить себя еще на одной задаче на «бытовую» арифметику:
Такое задание не вызывает у чат-бота никаких сложностей. Он быстро раскладывает логику решения и называет правильный ответ.
Результат: из 30 заданий — 21 правильный ответ и 9 неправильных Самые сложные для чат-бота темы: вся стереометрия, а также график квадратичной функции и числовые промежутки.
В сумме выходит 35 первичных баллов, которые переводятся в 79 тестовых баллов из 100. Весьма прилично, даже выше среднего балла по этому предмету по стране. Но далеко не идеально, репетиторам пока точно рано уходить из профессии.
А что другие нейросети?
ChatGPT — далеко не единственный чат-бот, готовый обсудить любые темы. Сдавать эти же тесты мы отправили еще четыре похожих сервиса: Gemini, Deepseek, Claude, Grok. Отправляли уже не все задания, а только первую десятку, чтобы получить общее впечатление о том, как они работают. Результаты по математике оказались сравнимы с ChatGPT. А вот по русскому языку — все совсем плохо.
| Русский язык, сколько заданий из 10 решено правильно | Математика, сколько заданий из 10 решено правильно | |
| Gemini | 3 | 8 |
| Deepseek | 2 | 8 |
| Claude | 0 | 5 |
| Grok | 0 | 7 |
Кстати, у ChatGPT есть модели с «рассуждениями» — например, o3-mini. У них на ответ уходит больше времени, но результат может быть лучше. Правда, с экзаменационными вопросами мы далеко не продвинулись.
Поблагодарить за статью