Учёные из OpenAI создали технологию измерения способности ИИ к автономному обучению

Компания OpenAI представила новую программу, которая поможет усовершенствовать технологию машинного обучения. MLE-bench – это набор из 75 сложных тестов, которые измеряют способность агентов ИИ изменять свой собственный код и улучшать его возможности без инструкций человека.

Фото из открытых источников

MLE-bench – это компиляция из 75 тестов Kaggle, каждый из которых представляет собой задачу, проверяющую технологию машинного обучения. Эти тесты измеряют, насколько хорошо алгоритмы машинного обучения выполняют конкретные задачи, например, обучение моделей ИИ, подготовку наборов данных и проведение научных экспериментов.

Ученые OpenAI разработали MLE-bench для измерения того, насколько хорошо модели ИИ работают при «разработке автономного машинного обучения», что является одним из самых сложных испытаний, с которыми может столкнуться искусственный интеллект. Любой будущий ИИ, который хорошо справится с 75 тестами, составляющими MLE-bench, может считаться достаточно мощным, чтобы стать системой общего искусственного интеллекта (AGI) – гипотетическим ИИ, который намного умнее людей.

Каждый из 75 тестов MLE-bench имеет практическую ценность в реальном мире. В качестве примеров можно привести OpenVaccine – конкурс по поиску мРНК-вакцины от COVID-19 или Vesuvius Challenge – конкурс по расшифровке древних свитков.

Если агенты ИИ научатся самостоятельно выполнять исследовательские задачи в области машинного обучения, то это может значительно ускорить научный прогресс в здравоохранении, климатологии и других областях. Однако, если это останется без внимания, это может привести к катастрофическим последствиям.

Ученые протестировали самую мощную из разработанных на данный момент моделей ИИ от OpenAI, названную «o1». Эта модель ИИ достигла как минимум уровня бронзовой медали Kaggle в 16,9% из 75 тестов в MLE-bench. Получение бронзовой медали эквивалентно попаданию в топ-40% участников-людей в таблице лидеров Kaggle.

MLE-bench теперь доступен в открытом доступе, чтобы стимулировать дальнейшие исследования возможностей машинного обучения в ИИ-агентах. Это позволяет другим исследователям тестировать свои собственные модели ИИ на MLE-bench.

«В конечном счёте мы надеемся, что наша работа поможет глубже понять возможности агентов по автономному выполнению задач машинного обучения, что важно для безопасного внедрения более мощных моделей в будущем», – заключили они.