K² · Искусственный интеллект
ИИ научили писать код прямо посреди размышлений — и точность выросла на 6 пунктов
В работе представлен метод AIR, который наделяет мультимодальные большие языковые модели (MLLM) способностью к адаптивному чередующемуся рассуждению с использованием кода.
CH
XL
Cong Han, Xiaohan Lan, Haibo Qiu и др.
4 автора · cs.CV, cs.AI
Суть за 30 секунд
Попросите современный ИИ, который умеет работать и с текстом, и с картинками, посчитать что-то сложное — и он споткнётся.
- Подход использует расширенное обучение с подкреплением на задачах сложных численных вычислений, дополненных кодом.
- Авторы утверждают, что существующие подходы к использованию инструментов опираются на предопределённые эвристики для манипуляции визуальной информацией и не могут решать задачи численных вычислений из-за исключительного внимания к визуальным операциям.
- Предложенное решение состоит из трёх компонентов: двухэтапного конвейера холодного старта для построения данных, стратегий фильтрации данных для подбора датасета обучения с подкреплением и адаптивной стратегии вызова инструментов с использованием функции награды с групповыми ограничениями.
Performance improves by an average of 6.1 percentage points on evaluation benchmarks after RL training with the group-constrained reward functionAccuracy for interleaved reasoning samples increases by 9.9 percentage pointsOverall success rate of tool-use exceeds 95%