Ученые из компании OpenAI разработали набор тестов под названием MLE-bench, который позволит проверять новые модели искусственного интеллекта и определять, как они справляются с «автономным проектированием машинного обучения». То есть, простыми словами, как хорошо ИИ изменяет собственный код и улучшает его возможности без участия человека.
Новый «эталон» состоит из 75 тестов Kaggle, каждый из которых представляет собой уникальную задачу. Если алгоритм способен справиться со всеми, то он может считаться кандидатом на роль универсального искусственного интеллекта — гипотетической модели, которая будет намного умнее людей. При этом, каждый из тестов еще и имеет реальную практическую ценность. Так один из них, под названием OpenVaccine, предлагает ИИ найти вакцину против COVID-19.
«Способность искусственного интеллекта к проведению высококачественных исследований может ознаменовать трансформационный шаг в экономике. Однако есть и проблема. Если инновации будут появляться быстрее, чем мы сможем понять их влияние, люди рискуют создать модели, способные нанести катастрофический вред. Так что не обойтись без параллельного развития в области защиты, согласования и контроля таких систем»
Напоследок ученые прогнали через набор MLE-bench самую мощную из созданных на данный момент ИИ-моделей под названием «o1». Согласно опубликованным результатам, она смогла попасть в 40% лучших участников тестирования за все время — и ее прогресс рос с каждой попыткой. Теперь же компания OpenAI выложила исследование в открытый доступ, чтобы и другие авторы алгоритмов могли испытать свои «творения».
Тем временем на другом конце света прошел забег человекоподобных роботов. Творения китайской компании соревновались друг с другом, преодолевая каменистые маршруты и бездорожье в разных частях пустыни Гоби.