Ученые из нескольких университетов создали платформу Memento-Skills, которая позволяет искусственному интеллекту (ИИ) развиваться без необходимости переобучения базовой модели. Принцип работы платформы заключается в следующем: ИИ выполняет задачу, получает обратную связь и автоматически обновляет или формирует новый навык, модифицируя код и инструкции.
В процессе тестирования Memento-Skills показала значительное повышение эффективности ИИ при решении двух сложных задач. Точность выполнения задания в тесте GAIA, требующем многоуровневого мышления и использования инструментов, возросла с 52,3% до 66%. В тесте HLE, охватывающем восемь различных дисциплин, результаты также улучшились: с 17,9% до 38,7%. Специальный маршрутизатор навыков увеличил успешность выполнения задач с 50% до 80%. Кроме того, платформа самостоятельно расширила свой набор навыков до 235 в тесте HLE, создав обширную библиотеку для решения разнообразных задач.
Memento-Skills помогает ИИ преодолевать ограничения статичных языковых моделей (LLM), которые не могут адаптироваться после запуска. Традиционные методы требуют ручной настройки или текстовых подсказок, что не всегда эффективно. В отличие от них, Memento-Skills функционирует как развивающаяся внешняя память, сохраняя навыки в виде структурированных файлов Markdown. Каждый навык включает спецификации, инструкции, код и скрипты для выполнения задач.
Платформа основывается на рефлексивном обучении, использующем принцип чтения и записи. ИИ выбирает навык, выполняет задачу и получает обратную связь. В случае неудачи система обновляет или создает новый навык, что повышает его эффективность. Оценка навыков осуществляется не только на основе их описания, но и по их практической пользе.
Для обеспечения надежности и предотвращения ошибок Memento-Skills включает автоматизированные тесты. После обновления навыка он проверяется на синтетических данных, и только после успешного прохождения тестирования изменения сохраняются. Это гарантирует стабильность и безопасность платформы в производственных средах.
Эксперты подчеркивают, что внедрение Memento-Skills требует осторожного подхода. Платформа наиболее эффективна в структурированных рабочих процессах, где навыки могут быть систематически улучшены. Для задач, требующих физического выполнения или долгосрочных целей, могут потребоваться более сложные методы, такие как использование многоагентных систем.