Разработаны методы сбора данных для редких языков в нейросетях

Проблема отсутствия достаточного объёма данных для обучения нейросетей стала ключевым вызовом для развития технологий обработки низкоресурсных языков. В случае с крымскотатарским языком исследователи столкнулись с полным отсутствием подходящих датасетов для серьёзной работы, что требовало инновационных решений.

Разработанная методология включает очистку существующих речевых наборов, применение текстовых слоев для обогащения данных, а также использование турецкого языка в качестве "подложки" благодаря его схожей структуре. Особое внимание уделялось псевдоразметке, где две модели независимо размечали данные, а затем их результаты сравнивались и корректировались для повышения точности.