За последний месяц произошло очень интересных и знаковых событий в мире Large Language Model (LLM).
Так мировые гиганты выпустили свежие версии своих моделей. Начнем с того, что Google выпустил 2 новые модели Gemini: Gemini-1.5-Pro-002 и Gemini-1.5-Flash-002.
Основные особенности:
- Снижение цены более чем на 50% для версии 1.5 Pro
- В 2 раза более быстрая выдача результатов и в 3 раза ниже задержка
Главный акцент был сделан на улучшении производительности, скорости и снижении стоимости моделей для создания систем промышленного уровня.
Детали тут
DataGemma
Так же Google выпустили модель DataGemma.
Она включает серию тонко настроенных моделей Gemma 2, которые помогают языковым моделям (LLM) получать доступ к числовым и статистическим данным.
В частности, они предлагают новый подход под названием Retrieval Interleaved Generation (RIG), который надежно включает публичные статистические данные из Data Commons в ответы LLM.
RIG — это инструментальный подход, который может чередовать статистические токены с вопросами на естественном языке, подходящими для извлечения из Data Commons.
Чтобы достичь этой возможности, они дообучают LLM на наборе данных инструкций и ответов, сгенерированных с помощью Gemini 1.5. Подход RIG улучшает фактологичность с 5-7% до примерно 58%.
Llama 3.2
Meta не отстаёт и выпустила Llama 3.2: легкую модель для девайсов, для компьютерного зрения (Llama Vision) и многое другое! В целом Meta выпустила 10 новых моделей от 1B (только текст) до 90B мультимодальных (текст + изображение).
Краткий обзор:
- Llama 3.2 Vision: мультимодальные (текст + изображение к тексту) модели размером 11B и 90B на основе текстовых моделей Llama 3.1, обученные на 6 миллиардах пар текст-изображение.
- Llama 3.2 Edge: многоязычные текстовые модели на 1B и 3B для эффективного локального развертывания.
- Все модели Llama 3.2 поддерживают контекст длиной 128k токенов.
- Использовалась дистилляция знаний и обрезка с 8B/70B для обучения моделей 1B/3B.
- Llama Guard 3.2: 2 новые улучшенные модели защиты с поддержкой мультимодальности.
- Модель Llama 3.2 3B сопоставима с Llama 3.1 8B по IFEval, что свидетельствует о сильных сценариях использования для локальных приложений RAG или агентов.
- Мультимодальные модели ограничены для физических лиц и компаний, находящихся в Европейском Союзе.
- Доступны и интегрированы в экосистему Hugging Face от Hub до Transformers и TGI.
Подробнее в официальном анонсе: https://go.fb.me/8ar7oz
Скачать модели Llama 3.2: https://go.fb.me/7eiq2z
Возможности Llama-3.2 в области компьютерного зрения соответствуют должны превосходить GPT-4o-mini.
Мультимодальные возможности становятся необходимостью, поскольку мы движемся к следующей фазе более автономных систем.
Модели Llama 3.2 на 1B и 3B, поддерживающие контекст длиной до 128K токенов, также выглядят впечатляюще и делают их полезными для приложений на периферийных устройствах и мобильных платформах.
API Llama Stack, по-видимому, получило несколько дополнений, что должно упростить разработку агентных приложений. Теперь есть CLI для Llama, клиентский код на языках, таких как Python и Node, контейнеры Docker и несколько вариантов дистрибуций.
OpenAI Academy
Ну, а OpenAI порадовала нас открытие академии, которая будет способствовать инновациям, инвестируя в разработчиков и организации, использующие ИИ, начиная с стран с низким и средним уровнем доходов.
Программа OpenAI Academy будет предоставлять:
- Обучение и технические консультации: Поддержка от экспертов OpenAI для разработчиков и целенаправленных организаций, использующих ИИ.
- Кредиты API: Распределение первоначальных $1 млн в виде кредитов на API для расширения доступа к моделям OpenAI, что позволит участникам создавать и развертывать инновационные приложения.
- Создание сообществ: Формирование глобальной сети разработчиков для сотрудничества, обмена знаниями и коллективных инноваций.
- Конкурсы и инкубаторы: Партнерство с филантропами для инвестирования в организации, решающие критически важные задачи в своих сообществах.
Пока подробностей по участию нет.
Разговоры о Data Science – закрытый канал для общения на тему карьеры, развития профессиональных навыков и применения навыков на работе.