Тестирование ИИ-кода: дифференциальное тестирование обошло TDD по эффективности

Исследователь Дэн Лу проанализировал, как различные подходы к тестированию влияют на качество кода, генерируемого ИИ. Для этого он использовал модель GPT-6 Astra, поручив ей реализацию функционала Pandoc. В ходе эксперимента Лу сравнил 25 различных условий тестирования, включая TDD (Test-Driven Development) и дифференциальное тестирование, выполнив по 25 прогонов для каждого условия. Общая стоимость такого исследования по розничным ценам API достигла около 90 тысяч долларов.

Результаты показали, что наиболее высокий процент прохождения скрытых тестов — 45,1% — продемонстрировало дифференциальное тестирование. TDD, напротив, показал наименьший результат — 40,5%. При этом интересно, что подход без каких-либо специфических указаний на тестирование дал результат в 44,1%, что близко к лидерам.

Автор исследования подчеркивает, что объём данных пока недостаточен для однозначных выводов, однако полученные результаты позволяют задуматься о влиянии методологий тестирования на качество кода, создаваемого ИИ. Лу также анализирует, почему предыдущие утверждения о бесполезности тестов от ИИ, основанные на проверках DeepSWE, не могут быть универсализированы на все случаи.