В некоторых инфекционных больницах Казахстана стояли аналоговые рентген-аппараты. Снимок на плёнке, никакой цифры, никакого PACS. Наша модель для таких клиник просто не существовала ей нечего было читать.
Мы покупали цифровые панели-оцифровщики и отдавали их клиникам. Компания везла железо, чтобы у алгоритма появились входные данные.
Это, пожалуй, главное, что я вынес из того проекта. Ниже то, что я рассказывал в подкасте «Код и кофе», плюс выводы, которые сформулировал уже потом, спустя несколько лет.
Откуда взялась задача
Мы в Forus Data начинали с другого: ранняя диагностика онкологии по гранту Всемирного банка. Рак лёгкого, маммография, КТ головного мозга.
Потом случился ковид и жёсткий карантин. Появилась потребность в быстрой оценке лёгочных патологий на рентгене причём с различением типов: здоровая ткань, обычная пневмония, специфические поражения при COVID-19. Мы развернулись на эту задачу.
Данные
Первую версию модели собирали на всём, до чего дотянулись: открытые датасеты из Италии и Китая, партнёрство с китайским университетом при поддержке фонда Джека Ма.
Порядок цифр такой. Опытный рентгенолог за карьеру просматривает десятки тысяч снимков. Наша модель за пару недель обучения проходила 100–200 тысяч изображений. Сравнение, конечно, хромает: врач видит пациента с анамнезом и клиникой, модель видит пиксели. Но по объёму насмотренности разрыв реальный.
Работа DL-специалиста в медицине процентов на сорок состоит из разметки. Приходилось объяснять врачам, почему обвести лёгкое целиком прямоугольником недостаточно, и как детальность контура отражается на том, чему учится сеть. Мнения нескольких врачей по одному снимку расходятся регулярно эти расхождения надо разбирать вручную, иначе они уезжают в датасет как шум.
Интеграция
Мы избегали слова «искусственный интеллект» в разговоре с клиниками и говорили CAD Computer Aided Diagnosis. Врач принимает решение, система даёт вторую пару глаз.
Встраивание в поток. Модель подключается к PACS. Врач видит оригинал и обработанный снимок с подсвеченными зонами.
Триаж. Когда за день приходит 500 снимков, модель помогает выстроить очередь: критические патологии врач смотрит первыми.
Железо. См. начало поста.
Метрики и доверие
Совпадение выводов модели с заключениями опытных врачей около 86%. Без этих деталей цифра ничего не значит, поэтому в разговоре с клиниками мы всегда их проговаривали.
Отдельно про то, где модель оказалась полезнее всего. Рентгенолог в небольшом посёлке редко видит рак лёгкого и может принять его за обычное воспаление насмотренность смещена в сторону того, что встречается вокруг. У модели такого перекоса нет. Молодым врачам она тоже помогала: подсвечивала точки, на которые они сами пока не смотрят.
Плюс модель не устаёт к концу смены.
Чему проект научил
Инфраструктура важнее модели. Если данные не доезжают до системы в цифровом виде, качество весов не имеет значения. Мы потратили на панели-оцифровщики и интеграции с PACS больше сил, чем на архитектуру сети.
Разметка итерационна. Один проход не даёт чистого датасета. Нужно сводить мнения врачей, разбирать расхождения, возвращаться к тем же снимкам заново.
Мотивация от домена работает. Понимание, что алгоритм крутится в реанимации, держит команду лучше, чем OKR. Это не фигура речи — после финтеха разница ощущается физически.