Разборы, кейсы и практика для инженеров и продактов. Как строить AI-продукты и не терять на этом деньги.

SOTA-модель с ошибкой 3% отказывала каждому третьему живому человеку

Мы взяли лучшую на тот момент модель антиспуфинга. На своём датасете она показывала среднюю ошибку около 3%: 4% пропущенных атак, 2% ложных отказов живым людям. Отличный результат.

На наших данных она отказала 35% реальных клиентов.

Все атаки при этом отловила — ни одной не пропустила. Просто вместе с ними не пустила каждого третьего человека, который пришёл за услугой.

Антиспуфинг SOTA

Это, пожалуй, главное, что я вынес из того проекта. Ниже — как мы разбирались с задачей, когда я занимался компьютерным зрением в Beeline Казахстан.

Читать далее →

Консультации по машинному обучению и внедрению ИИ

Разбор вашей задачи практиком, который запускает AI-системы в проде. Онлайн, 60 или 90 минут, запись и оплата на сайте.

Последние пару лет ко мне регулярно приходят с одними и теми же вопросами. Как встроить LLM в продукт и не разориться на токенах. Почему модель показывает хорошие метрики в ноутбуке, но не доезжает до прода. Нужен ли здесь вообще машинное обучение или хватит правил. Отвечал в личке, на созвонах, иногда в комментариях. Теперь для этого есть отдельная страница: consultation.alimbekov.com

консультации по машинному обучению и внедрению ИИ

Читать далее →

Погружение в LLM часть первая

Я тут начал погружаться в LLM чуть глубже и лично для меня гораздо проще начинать погружение через практику.

Таким образом можно понять все ключевые концепции и наметить себе список пейперов для дальнейшего ознакомления.

Начал я с заметки StackLLaMA: A hands-on guide to train LLaMA with RLHF

Тут вы сразу сможете ознакомиться с концепциями Reinforcement Learning from Human Feedback, эффективной тренировкой с помощью LoRA, PPO.

Так же вы познакомитесь с зоопарком библиотек huggingface: accelerate, bitsandbytes, peft и trl.

В заметке используется StackExchange датасет, но для разнообразия могу посоветовать вам использовать датасет Anthropic/hh-rlhf

Во второй части пройдемся по ключевым пейперам

Помогаю бизнесу внедрять LLM и GenAI в продукт если у вас конкретная задача, можно записаться на консультацию

Machine learning pipeline — основы. Cookiecutter и Hydra

В курсах по Data Science домашние работы и проекты делаются в Jupyter Notebooks и студентов не учат писать пайплайны. Дело в том, что работа в Jupyter Notebooks не смотря на удобство несет в себе в том числе и недостатки. Например, вы строите несколько типов моделей с несколькими вариантами заполнения пропусков (среднее, медиана), генерируете набор feature engineering и применяете разные варианты разбиения выборки.

Можно разместить весь этот код в один Jupyter Notebooks и логгировать метрики и конфиги. Код получится громоздкий и не поворотливый. Для запуска экспериментов надо будет или перескакивать или комментировать ячейки, которые не нужно запускать.

Для решения этих проблем рекомендую использовать pipeline для автоматизации рабочих процессов машинного обучения. Основная цель создания пайплайна — это контроль. Хорошо организованный пайплайн делает реализацию более гибкой.

Читать далее →

Как стать Machine Learning Engineer

Для начала давайте определимся в чем разница между Machine Learning Engineer и Data Scientist. Если Data Scientist может больше работать над моделированием и сосредотачиваются на тонкостях алгоритмов, то Machine Learning Engineer более часто работает над развертыванием той же модели в производственной среде, которая будет взаимодействовать с пользователями или на автоматизации процесса обучения, мониторинга, сбора признаков. Очень часто в компаниях эти две обязанности выполняет один специалист.

В этой статье мы рассмотрим какие навыки нужны Machine Learning Engineer.

Востребованность

Machine Learning Engineer в 2022 году входит в топ 10 высокооплачиваемых профессий. Зарплаты в США от $115 тысяч до $171 тысячи в среднем в год. Самими же востребованными специалистами стали Machine Learning инженере в области Natural Language Processing. Их зарплата в среднем составляет 160 227 долларов США. Источник

В исследованиях дата-профессий по рынку Казахстана и России к сожалению не разделяют специалистов Machine Learning Engineer и Data Scientist по уровням зарплат. Поэтому будем ориентироваться на Data Scientist.

В Казахстане средняя зарплата составляет 682 тысячи тенге в месяц. Более подробно можно почитать в исследовании.

В России спрос на Data Scientist вырос на 93%, что же касается зарплат то рост составил 11%. Вилки зарплат для Data Scientist: для джунов 20 — 200, для мидлов 60 — 300, для синьоров и лидов от 100 — 700 тысяч рублей. Подробнее тут.

Читать далее →