Как я собрал винный бенчмарк на 3 266 вопросов руками LLM

Автор создал бенчмарк OenoBench, включающий 38 104 факта о вине и 3 266 вопросов с вариантами ответов, протестировав 16 языковых моделей. Основная работа была выполнена автоматическими агентами, а человек лишь контролировал процесс и отвечал за содержание. Расходы на API составили около $800.

Что это значит для бизнеса в России

Создание подобных бенчмарков может помочь компаниям в России оценить эффективность ИИ в специализированных областях, таких как виноделие. Это также открывает возможности для автоматизации исследований и анализа данных в других отраслях.

Источник: Habr NLP. Пересказ подготовлен редакцией Атлас ИИ.

Атлас на практике: ИИ-решения Атлас для бизнеса.