K² · Искусственный интеллект
Обучение роботов на несовершенных примерах — с помощью текстовых подсказок вместо цифровых оценок
Авторы предлагают фреймворк языковой критики для обучения имитацией на неоптимальных демонстрациях, который использует естественный язык как сигнал структурированного обучения вместо скалярных сигналов.
CY
DW
Chih-Han Yang, Dai-Jie Wu, Yun-Ping Huang и др.
6 авторов · cs.LG, cs.AI
Суть за 30 секунд
Представь, что учишь ребёнка кататься на велосипеде.
- Метод конструирует языковые метки из демонстраций, описывающие текущий прогресс, выявляющие неоптимальное поведение и обеспечивающие детальное корректирующее руководство.
- Авторы вводят функцию потерь с языковой критикой, которая обучает политики с использованием этих структурированных сигналов без их редукции к скалярам.
- Функция потерь реализуется как для клонирования поведения, так и для политик диффузии, что приводит к двум методам под названием LC-BC и LC-DP.