Учёные из OpenAI создали технологию измерения способности ИИ к автономному обучению

25.01.2025, 0:20, Разное
  Подписаться на Telegram-канал
  Подписаться в Google News
  Поддержать в Patreon

Компания OpenAI представила новую программу, которая поможет усовершенствовать технологию машинного обучения. MLE-bench – это набор из 75 сложных тестов, которые измеряют способность агентов ИИ изменять свой собственный код и улучшать его возможности без инструкций человека.

Фото из открытых источников

MLE-bench – это компиляция из 75 тестов Kaggle, каждый из которых представляет собой задачу, проверяющую технологию машинного обучения. Эти тесты измеряют, насколько хорошо алгоритмы машинного обучения выполняют конкретные задачи, например, обучение моделей ИИ, подготовку наборов данных и проведение научных экспериментов.

Ученые OpenAI разработали MLE-bench для измерения того, насколько хорошо модели ИИ работают при «разработке автономного машинного обучения», что является одним из самых сложных испытаний, с которыми может столкнуться искусственный интеллект. Любой будущий ИИ, который хорошо справится с 75 тестами, составляющими MLE-bench, может считаться достаточно мощным, чтобы стать системой общего искусственного интеллекта (AGI) – гипотетическим ИИ, который намного умнее людей.

Каждый из 75 тестов MLE-bench имеет практическую ценность в реальном мире. В качестве примеров можно привести OpenVaccine – конкурс по поиску мРНК-вакцины от COVID-19 или Vesuvius Challenge – конкурс по расшифровке древних свитков.

Если агенты ИИ научатся самостоятельно выполнять исследовательские задачи в области машинного обучения, то это может значительно ускорить научный прогресс в здравоохранении, климатологии и других областях. Однако, если это останется без внимания, это может привести к катастрофическим последствиям.

Ученые протестировали самую мощную из разработанных на данный момент моделей ИИ от OpenAI, названную «o1». Эта модель ИИ достигла как минимум уровня бронзовой медали Kaggle в 16,9% из 75 тестов в MLE-bench. Получение бронзовой медали эквивалентно попаданию в топ-40% участников-людей в таблице лидеров Kaggle.

MLE-bench теперь доступен в открытом доступе, чтобы стимулировать дальнейшие исследования возможностей машинного обучения в ИИ-агентах. Это позволяет другим исследователям тестировать свои собственные модели ИИ на MLE-bench.

«В конечном счёте мы надеемся, что наша работа поможет глубже понять возможности агентов по автономному выполнению задач машинного обучения, что важно для безопасного внедрения более мощных моделей в будущем», – заключили они.


Смотреть комментарииКомментариев нет


Добавить комментарий

Имя обязательно

Нажимая на кнопку "Отправить", я соглашаюсь c политикой обработки персональных данных. Комментарий c активными интернет-ссылками (http / www) автоматически помечается как spam

ЧИТАЙТЕ ТАКЖЕ

12.02 / Рупор кремлевской пропаганды: Концепция беспилотных надводных кораблей ВМС США

12.02 / Мнение «аналитика»: О жесте доброй воли Путина… Ой, а что случилось?

12.02 / Рупор кремлевской пропаганды: В Екатеринбурге, Томске и Архангельске предлагают установить памятники Сталину

12.02 / Мнение: Закроют ли «Голос Америки» и «Радио Свобода», минусы Нью-Йорка и культ пластиковых пакетов в СССР

12.02 / Рупор кремлевской пропаганды: Бойцы штурмовавшие Дзержинск просят вернуть Железного Феликса на Лубянку

11.02 / Рупор кремлевской пропаганды: Украина может стать Россией, может не стать Россией. но заплатить ей придется

11.02 / Мнение: Гонка за статусом, как изменилась жизнь релокантов и как россияне ездят в Европу

11.02 / Мнение: Вот это Денисов!

11.02 / Рупор кремлевской пропаганды: Румынское шапито

11.02 / Рупор кремлевской пропаганды: Лишились 80% бюджета после закрытия USAID

Политика конфиденциальности - GDPR

Карта сайта →

По вопросам информационного сотрудничества, размещения рекламы и публикации объявлений пишите на адрес: [email protected]

Поддержать проект:

PayPal - [email protected]; Payeer: P1124519143; WebMoney – T323003638440, X100503068090, Z399334682366

18+ © 2002-2022 РЫБИНСКonLine: Все, что Вы хотели знать...

Яндекс.Метрика