В это заметки хотелось бы раскрыть последние тенденции и исследования в области ризонинга и новых техник промптинга улучшающих аутпут.
По простому ризонинг это процесс многошаговых рассуждений, где выполняется несколько последовательных шагов размышлений и где каждый шаг зависит от предыдущего.
Может показаться, что Reasoning и Chain of Thought (CoT) это одно и то же. Они связаны, но это разные концепции.
Reasoning — это общее понятие рассуждения и умозаключений. Оно включает любые формы размышлений и выводов. Chain of Thought — это конкретная техника, используемая для улучшения reasoning путем добавления промежуточных шагов, чтобы помочь модели ясно выразить свои мысли и более точно прийти к решению задачи.
Сhain-of-Thought или нет
В исследовании того, какие типы задач больше всего выигрывают от использования chain-of-thought (CoT) после мета-анализа более 100 статей было установлено, что CoT даёт значительные преимущества в производительности в первую очередь для задач, связанных с математикой и логикой.
Ещё один интересный результат в статье заключается в том, что CoT можно применять избирательно, сохраняя производительность и сокращая затраты на вычисления. Учитывая разнообразие моделей и их возможностей, в какой-то момент маршрутизация LLM может стать стандартной функцией.
Хотя в статье не упоминаются новые модели OpenAI o1, авторы подчёркивают необходимость перехода от подходов, основанных на CoT-подсказках, к более надёжным, устойчивым и точным промежуточным вычислениям в LLM.
Неизвестно, насколько эти выводы применимы к моделям o1 с точки зрения их возможностей. Однако это станет ясно по мере публикации новых исследований и экспериментов. Буду делиться интересными результатами по мере их появления.
Diagram of Thought (DoT)
Диаграмма мысли (Diagram of Thought, DoT) усиливает способности больших языковых моделей (LLM) к рассуждению через математическую строгость.
Модель DAT представляет итеративное рассуждение в LLM как построение направленного ациклического графа (DAG).
Она объединяет предложения, критику, уточнение и проверку в единую DAG-структуру. Это позволяет DoT охватывать сложные логические выводы, выходящие за рамки линейных или древовидных подходов.
Внешнее вмешательство не используется, но модель применяет токены с конкретными ролями для генерации детализированных процессов рассуждения.
Итерация мысли (Iteration of Thought, IoT)
В работе предлагается структура Iteration of Thought (IoT) для улучшения ответов и способностей рассуждения больших языковых моделей (LLM) с помощью адаптивных путей рассуждений.
Она использует агента внутреннего диалога, который действует как проводник и динамически корректирует пути рассуждения, что позволяет адаптивно исследовать перекрестные варианты и повышать точность ответов.
Отличие от CoT и ToT (оба являются жёсткими процессами) заключается в том, что генерация подсказок в IoT — это динамический процесс, который позволяет адаптироваться.
«IoT представляет собой жизнеспособную парадигму для автономного уточнения ответов в LLM, демонстрируя значительные улучшения по сравнению с CoT и тем самым обеспечивая более адаптивные и эффективные системы рассуждений с минимальным участием человека».
Chain-of-Thought без промптинга
Несколько месяцев назад в этой статье был предложен процесс декодирования для получения цепочек рассуждений CoT без интенсивного проектирования подсказок.
Авторы выяснили, что цепочки рассуждений CoT часто являются неотъемлемой частью модели, что позволяет более внимательно рассмотреть, как эффективно раскрыть внутренние способности LLM к рассуждению.
Вывод
Эти исследования подчеркивают актуальные тенденции в области reasoning и разработки новых техник для улучшения рассуждений и промптинга в больших языковых моделях (LLM).
Основные выводы:
- Chain of Thought (CoT) – это техника, которая значительно улучшает производительность в задачах, связанных с математикой и логикой, благодаря добавлению промежуточных шагов рассуждений. CoT может применяться избирательно, что позволяет сохранять вычислительную эффективность.
- Diagram of Thought (DoT) – предлагает новый способ структурирования рассуждений через направленные ациклические графы (DAG). Это позволяет моделям выходить за рамки линейных или древовидных рассуждений, охватывая более сложные и строгие логические выводы.
- Iteration of Thought (IoT) – внедряет динамический процесс корректировки рассуждений через агент внутреннего диалога. В отличие от жёстких процессов CoT и DoT, IoT адаптируется к промежуточным результатам, позволяя моделям точнее уточнять ответы на сложные вопросы.
Эти техники открывают новые горизонты для развития LLM, делая их более гибкими и точными, особенно в области сложных многошаговых рассуждений.