Исследователи МГУ и специалисты «Яндекса» представили новый подход к обучению искусственного интеллекта самым сложным правилам русского языка. Команда создала специализированный набор данных, включающий реальные примеры ошибок, которые нередко допускают даже носители языка. В этот список вошли трудные случаи пунктуации в сложноподчинённых конструкциях, особенности слитного и раздельного написания, а также редкие синтаксические модели, с которыми не всегда справляются даже опытные филологи. Как сообщили в компании, цель проекта — приблизить возможности языковых моделей к уровню глубокого понимания норм русского языка.
Созданный датасет охватывает 48 ключевых правил, среди которых присутствуют и те, что традиционно проверяются на ЕГЭ и лингвистических олимпиадах. В его основу легла почти тысяча тщательно отобранных предложений, каждое из которых связано с одной конкретной нормой, что позволяет моделям учиться точечно и осмысленно, а не на абстрактных примерах. Такой структурированный подход делает набор данных не просто учебным материалом, а инструментом, позволяющим ИИ видеть логику языковых явлений и сопоставлять правила с характерными ошибками.
Учёные предложили принципиально новый метод корректировки ошибок, который не требует сложного и долгого переобучения моделей на созданном датасете. Он основан на поиске наиболее релевантных примеров: вспомогательным инструментом выступает отдельная ИИ-модель Gector, которая ищет в датасете предложения с аналогичными ошибками и передаёт их в качестве подсказки крупной языковой модели. Благодаря этому ИИ получает не абстрактные данные, а точный пример, соответствующий конкретному нарушению. Если, к примеру, в предложении пропущена запятая перед союзом «что», модель сразу получает образец именно с таким же нарушением и корректным вариантом его исправления. Такой адресный подход существенно повышает качество работы и позволяет модели действовать увереннее в ситуациях, где требуется знание тонких нюансов.
Новый метод протестировали сразу на нескольких моделях: внутренних системах «Яндекса» и зарубежной Qwen2.5. Результаты показали значительный рост точности. Флагманская YandexGPT 5 Pro достигла 83%, версия YandexGPT 5 Lite улучшила свои показатели с 66% до 71%, а Qwen2.5-7B продемонстрировала рост точности с 42% до 56%. Эти данные подтверждают, что новый подход открывает возможность более глубокого и гибкого обучения ИИ нормам русского языка, что в перспективе может привести к созданию систем, способных разбирать самые сложные и редкие лингвистические конструкции почти на уровне профессиональных филологов.
Инфослужба РиА Вести
Фото: ОИСИ