Трендовые статьи по Large Language Model

Google Deepmind разработали многократный онлайн-подход с использованием обучения с подкреплением (reinforcement learning), чтобы улучшить способность больших языковых моделей (LLM) к самокоррекции.

Cамокоррекция LLM

Показано, что обучение с учителем (SFT) неэффективно для изучения самокоррекции и сталкивается с несоответствием между данными для обучения и ответами модели. Для решения этой проблемы предлагается двухэтапный подход, который сначала оптимизирует поведение самокоррекции, а затем использует дополнительное вознаграждение для усиления самокоррекции в процессе обучения. Этот метод полностью основан на данных, сгенерированных самой моделью.

При применении к моделям Gemini 1.0 Pro и 1.5 Flash достигается рекордная производительность по самокоррекции, улучшая базовые модели на 15.6% и 9.1% соответственно в тестах MATH и HumanEval.

Читать далее

Все новое из мира Large Language Model

За последний месяц произошло очень интересных и знаковых событий в мире Large Language Model (LLM).

Так мировые гиганты выпустили свежие версии своих моделей. Начнем с того, что Google выпустил 2 новые модели Gemini: Gemini-1.5-Pro-002 и Gemini-1.5-Flash-002.

Основные особенности:

  • Снижение цены более чем на 50% для версии 1.5 Pro
  • В 2 раза более быстрая выдача результатов и в 3 раза ниже задержка

Главный акцент был сделан на улучшении производительности, скорости и снижении стоимости моделей для создания систем промышленного уровня.

Детали тут

Читать далее

Основные тенденции в развитии рассуждений LLM

В это заметки хотелось бы раскрыть последние тенденции и исследования в области ризонинга и новых техник промптинга улучшающих аутпут.

По простому ризонинг это процесс многошаговых рассуждений, где выполняется несколько последовательных шагов размышлений и где каждый шаг зависит от предыдущего.

Может показаться, что Reasoning и Chain of Thought (CoT) это одно и то же. Они связаны, но это разные концепции.

Reasoning — это общее понятие рассуждения и умозаключений. Оно включает любые формы размышлений и выводов. Chain of Thought — это конкретная техника, используемая для улучшения reasoning путем добавления промежуточных шагов, чтобы помочь модели ясно выразить свои мысли и более точно прийти к решению задачи.

Читать далее

Pandas для Data Science

Этой заметкой открываю серию статей для начинающих вкатываться в Data Sciеnce и Machine Learning и начнем мы с изучения Pandas. В интернете много статей по Pandas, поэтому хотел бы в этой заметки описать практические приемы для работы с Pandas в Data Sciеnce проектах и для построения моделей.

В качестве датасета будем использовать German Credit Risk на Kaggle

Датасет содержит информацию о кредитных данных:

  • Age (возраст)
  • Sex (пол)
  • Job (работа)
  • Housing (тип жилья)
  • Saving accounts (сберегательные счета)
  • Checking account (расчетный счет)
  • Credit amount (сумма кредита)
  • Duration (продолжительность кредита)
  • Purpose (цель кредита)
Pandas для Data Science

Читать далее

Поиск удаленной работы в 2024 году

Решил я написать пост о том как я искал в этом году удаленную работу в сфере DS/ML/DA/CV/NLP.
Я не могу сказать, что искал работу сильно активно, но если видел интересные проекты и позиции, то откликался.

В этом посте я хочу поделиться своими наблюдениями и рейтингом ресурсов по поиску работы:

6. @g_jobbot getmatch — телеграм бот с вакансиями. Из плюсов можно подписать на определённый тип вакансии и условия работы (зарплата, удаленка и т.д.) Мне бот не понравился, ответов в случае отклика практически нет и они в основном по вакансиям Яндекса.

5. Различные job boards. Ссылка на список. Еще больше во вложенном файле. Тут у меня за всё время был один ответ с https://wellfound.com/ (бывший angellist jobs) с тестовым заданием.

4. linkedin — много крутых вакансий, много удаленки. Практически 0 ответов если откликаешься сам. Но достаточно часто рекрутеры пишут в личку. Еще из рабочих вариантов самому писать рекрутерам из понравившихся вакансий. Во всяком случае это даёт хоть какие-то интервью.

3. hh.kz — так как я из Казахстана, то в основном хороший ресурс для поиска локальной работы. Удаленки почти нет.

2. singularis slack — один из лучших вариантов для поиска удаленной работы. Из плюсов в канале jobs публикуют вакансии с вилками и контактами HR или нанимающего менеджера. Большинство отвечают быстро, много удаленки, часто хорошие зарплаты. Рекомендую.

1. Телеграм каналы с вакансиями. Это лучший источник вакансий и коммуникаций. Сам я нашел текущую работу именно там. Чаще всего вакансии публикуются с вилками и контактами HR или нанимающего менеджера.

Вложенный файл с job boards и ссылку на мою папку каналов с вакансиями вы найдете у меня в телеграм канале

Подписывайтесь =)