Как поставить диагноз по фотографии

На iPhone вышло приложение Skinive, которое определяет болезни кожи по фото. Как оно работает

Все кучу раз слышали про диагностические способности Apple Watch. Несмотря на то что по закону всё, что умеют смарт-часы, не может считаться диагностикой с медицинской точки зрения, они если и не спасли жизни бесчисленному числу людей, то по крайней мере указали на возможные расстройства и проблемы со здоровьем. Однако потенциал Apple Watch не безграничен, что вполне логично, учитывая их размеры и технические особенности. Поэтому совершенно естественно сочетать его с Айфоном, который благодаря сторонним приложениям может помочь вам даже в определении заболеваний кожи.

Skinive — это приложение для распознавания болезней кожи

Кожа, покрывающая наше тело, выступает не только в роли средства защиты внутренних органов, но и в качестве лакмусовой бумажки. Она может сигнализировать о разного рода расстройствах нашего организма — от переедания сладкого и сбившегося обмена веществ до появления новообразований и возникновения риска развития рака.

Болезни кожи — как выявлять

Оказывается, теперь и телефон может определить признаки кожных заболеваний

Но ведь не будешь ходить к врачу из-за каждого высыпания. Наши люди вообще привыкли решать подобного рода проблемы самостоятельно, предпочитая по старинке намазаться «Пантенолом», «Адвантаном» или на худой конец «Спасателем». Назвать этот подход ошибочным — значит, не сказать вообще ничего. Тем более, что приложение Skinive может помочь в определении расстройств кожи без необходимости выходить из дома.

Skinive — это приложение для анализа кожных покровов по фотографии, которое выпустили разработчики из Нидерландов. В его основе лежит одна из крупнейших в мире баз данных всевозможных патологий и нейронные сети, которые определяют до 50 различных расстройств. Skinive распознаёт:

• Онкология кожи (проверка родинок на риск меланомы, базалиомы и плоскоклеточного рака);
• ВПЧ (бородавки, папилломы, герпес);
• Дерматиты, экзема, псориаз, лишаи;
• 6 типов Акне, милиум, розацеа;
• Грибковые заболевания кожи и ногтей и многое другое.

А благодаря функции оценки риска, с его помощью можно примерно понять, насколько опасно то высыпание под мышкой или разросшееся родимое пятно.

Вот как всё работает:

приложение Skinive себе на iPhone;
• Запустите его и заполните небольшую анкету, указав пол, возраст и тип кожи (если вы не знаете, какой у вас тип кожи, выбирайте последовательно каждый из них и читайте описание — так всё станет понятно);

Сначала нужно выбрать свой тип кожи

• После этого на экране появится 3D-модель человека — нажмите на ту область, где находится участок кожи, который вы хотите проанализировать (фигуру можно увеличивать, отдалять, крутить и смотреть на неё со всех сторон);

Если в кадр попадут посторонние объекты или приложение не распознает часть тела, вы получите вот такую ошибку

• Затем нажмите «Далее», наведите камеру смартфона на выбранный вами участок кожи уже на своём теле и сфотографируйте его;
• Дождитесь завершения анализа (как правило, он занимает не дольше 5-7 секунд) и получите результат.

Как проверить родинку на рак

Для наглядности приложение отобразит шкалу, на которой будет указана степень опасности вашего расстройства. Если в нём нет ничего страшного или кожа в полном порядке, стрелка покажет низкий риск. А, чем серьёзнее будет заболевание, признаки которого распознает Skinive, тем ближе к положению максимального риска опустится стрелка.

В кадр не должно попасть посторонних объектов. А, если всё-таки попало, обрежьте фото во встроенном редакторе

Но ведь нам мало просто увидеть стилизованный спидометр. Когда речь идёт о таком серьёзном инструменте, как Skinive, хочется какой-то конкретики, и она тут есть. Приложение выдаёт список из 3 расстройств, которые у вас могут проявляться с большей вероятностью (в процентах) с и необходимыми разъяснениями. Например, я отсканировал просто чистый участок кожи на запястье и на выходе получил такой результат:

• Кожа без патологии — 91,13%
• Простой невус (пигментация или доброкачественная родинка) — 0,83%
• Папиломатозный невус — 0,51%

Тут хранятся ваши прошлые сканирования. Здесь же можно восполнить лимит

Все прошлые сканирования будут храниться во вкладке «Дом». Они представлены в виде списка тестирований с фотографией и описанием. А, если вы вдруг опасаетесь, что кто-то посторонний сможет увидеть ваши обследования, то их можно и удалить. Для этого просто свайпните по карточке анализа справа налево и нажмите кнопку «Удалить». В этом случае сканирование будет удалено безвозвратно со всеми результатами.

Опасна родинка или нет — как узнать

Очень здорово, что разработчики не стали играть в докторов, вынуждая пользователей самостоятельно гуглить, что значат те или иные диагнозы, а просто расписали их понятным русским языком. Пожалуй, если бы я увидел термин «папиломатозный невус», то подумал бы как минимум о чём-то смертельном. Однако я тут же перешёл в соответствующую вкладку и узнал, что это доброкачественное образование, более известное как бугристая родинка. В общем, ничего страшного.

Skinive определяет признаки заболевания не просто наобум, а распознаёт конкретные фрагменты на вашей коже и отмечает их

Важно понимать, что Skinive не ставит диагноз. Всё-таки это не врач, а всего-навсего приложение. Да, оно работает на основе нейросети, которая обучена на обширнейшей базе кожных заболеваний и определяет их с точностью до 95%, так что ошибка практически исключена (интересно было бы посмотреть статистику по ошибкам настоящих врачей). Поэтому воспринимайте его как продвинутого секретаря, который подскажет когда вам необходима помощь врача и к какому конкретному специалисту необходимо обратиться (косметолог, дерматолог, дермато-онколог).

А, чтобы вам всё было понятно, Skinive предлагает ещё и подробное описание предполагаемого расстройства

Может показаться, что использование приложений для анализа состояния кожи не имеет большого смысла. Но на самом деле это очень важно, потому что кожа — один из тех органов нашего тела, который чаще всего не может продемонстрировать расстройство болью, как живот или голова, но имеет явные визуальные признаки, которые могут сигнализировать о начинающемся заболевании. Родинки, папиломы, сыпь — всё это может иметь двойственный характер, и, не обладая особыми познаниями, трудно отличить доброкачественное образование от злокачественного, а Skinive — справится с этим на раз-два.

В то же время, приложение сертифицировано как ПО медицинского назначения и проходило оценку дерматологами, поэтому рекомендации приложения заслуживают доверие.

Как часто нужно проходить чекап

Авторы Skinive рекомендуют проводить чек-ап каждую неделю. Зачем так часто? Ну, во-первых, потому что с приложением у вас есть такая возможность. Это абсолютно несложно: открыл, навёл, сфоткал. А, во-вторых, различные заболевания кожи могут прогрессировать очень быстро и то, что ещё 5 дней назад вы считали «расчёсом» по итогу может превратиться в атопический дерматит со всеми вытекающими. Что и говорить про родимые пятна, которые нередко перерастают в злокачественные образования и вызывают рак. Используя Skinive, вы сможете сохранить всю историю развития таких пятен, а потом предоставить её врачу, чтобы он оценил скорость развития опухоли и её опасность.

Skinive предлагает 10 бесплатных сканирований в месяц

По умолчанию Skinive предлагает всем пользователям по 10 сканирований в месяц бесплатно. А, если вам этого не хватит, придётся перейти на платный тариф, который при оплате сразу за год будет стоить менее 60 рублей в неделю. Кроме неограниченного числа анализов, он откроет вам доступ к камере с искусственным интеллектом и автонаведением, а также возможность сохранять историю сканирований в формате PDF.

В принципе, пользоваться Skinive можно и бесплатно. Вероятно, вы обратили внимание, что за регистрацию в приложении вам дали 1 балл Кармы. Это своего рода внутренняя валюта, за которую можно покупать дополнительные сканирования по курсу 1 балл — 1 сканирование. Их можно зарабатывать, делясь приложением с друзьями, за которых на ваш личный счёт будут начисляться призовые очки. Ними в сможете оплачивать новые обследования, если не захотите переходить на платный тариф.

Определение заболевания кожи по фото с помощью ИИ

Онлайн-сервис и мобильное приложение на базе ИИ, которые распознают по фотографиям 7 типов кожных высыпаний: меланомы, базалиомы, меланоцитарные невусы, актинические и себорейные кератозы, сосудистые высыпания и дерматофибромы.

Как это работает

1. Пациент или врач загружают фото через онлайн-сервис или мобильное приложение.
2. Алгоритм анализирует их и сопоставляет с базой для диагностики.
3. Система выдает предполагаемый диагноз, который необходимо верифицировать у врача.

Как сервис помогает врачам и пациентам

Снижение риска возникновение врачебных ошибок

Ускоренный анализ симптомов для первичной диагностики

Доступная самодиагностика, которая позволяет быстрее выявлять кожные заболевания

Снижение нагрузки на врачей за счет первичной самодиагностики

Подробный принцип работы

В основе «Фотодетекции кожи» — алгоритмы сверточной нейросети EfficientNet, предобученной на датасете ImageNet, которая отвечает за анализ и классификацию изображений. Данные для обучения предоставлены Корнеллским Университетом (Нью-Йорк, США).

Как мы сделали Telegram-бота, который распознает заболевания на коже по фото

Сейчас особо не удивишь чат-ботами, которые могут вести диалоги на естественном языке. Поэтому сегодня я расскажу о том, как мы делаем бота, который может видеть.

Меня зовут Кирилл, я уже более 7 лет занимаюсь различными проектами в Digital Health. Идеи по использованию технологий искусственного интеллекта у меня витали уже достаточно давно, но вплотную с ними работать начал около года назад.

Реализовав несколько идей, используя для обучения текстовые массивы данных, и убедившись в отличных результатах, которые показывают нейросети, я естественно захотел попробовать поработать и с другими видами данных.

После недолгого анализа соревнований на Kaggle стало очевидно, что применение сверточных нейросетей для работы с медицинскими изображениями — это одна из наиболее популярных тем для соревнований между Data Scientists.

Большое количество участников соревнований, наличие разнообразных датасетов медицинских изображений (рентгенограммы, МРТ, КТ и другие) создавали иллюзию, что участие в этих соревнованиях даст возможность реализовать какой-либо проект и внедрить его в реальную жизнь.

На практике это оказалось совсем не так: «потренироваться на котиках» и работа с узкоспециализированными медицинскими данными требует совершенно других подходов и ответственности. О применении технологий вроде распознавания злокачественных новообразований на снимках МРТ с помощью ИИ вообще можно забыть, не имея сильного лобби в учреждениях здравоохранения.

Очень вовремя на глаза мне подвернулось соревнование ISIC 2017: Skin Lesion Analysis (анализ кожных заболеваний по дерматоскопическим снимкам). Он показался не таким сложным и мы с моими знакомыми не долго думая решили попробовать свои силы в этом соревновании и параллельно с этой идеей принять участие в хакатоне по искусственному интеллекту AI Hackathon, который проходил 17-18 декабря 2017 года в ПВТ (Минск).

На этом хакатоне и начался данный челлендж, который не заканчивается по сей день. Спалив не одну тысячу долларов на вычислительные ресурсы, перебрав несколько моделей и фреймворков нейронных сетей за эти два дня мы заслуженно ничего не выиграли.

Хочу поделиться уроками, которые мы вынесли из данного хакатона:

• Перед хакатоном следует делать глубокий рисерч того, как эту задачу пробовали решать до вас и какие методы изначально провальные.
• Не надо распыляться на несколько вариантов реализации задачи.
• Распределение фронта работ между участниками команды.

И самое главное: надо заниматься одновременной разработкой всех этапов с самого начала — как обучением нейросетей, так и сборкой прототипа для демонстрации. Есть большая вероятность, что под конец хакатона ваш прототип может рассыпаться. Столкнувшись с этой неудачей, мы не забросили эту идею, как это часто случается с другими проектами, реализованными в рамках хакатона.

Поработав над ошибками, уже через пару месяцев в начале 2018 года мы обучили нейронную сеть выдавать довольно неплохие результаты по классификации здоровых опасных родинок (где может развиться или уже развивается рак кожи).

Во время работы над технологией распознавания рака кожи естественно встал вопрос о необходимости привлечения врачей-консультантов в области дерматологии. Благодаря их экспертизе мы вышли за рамки классификации родинок по категориям «хот-дог или не хот-дог», так как помимо здоровых и опасных невусов (родинок) есть еще предраковые состояния, а также много различных доброкачественных новообразований на коже, которые обыватели также называют родинками.

Начав сотрудничество с дерматологами, мы кардинально изменили датасет для обучения, расширив до двух десятков диагнозов, и прекратили участие в ISIC Challenge 2017.

Дерматоскопия — это метод исследования, который применяется в дерматологии (науке о кожных заболеваниях) для более детального обследования различных новообразований кожи. Суть метода заключается в том, что с помощью специального увеличительного стекла (или другого увеличительного прибора) врач рассматривает кожные новообразования под большим увеличением прямо на теле пациента.

В среднем ручные дерматоскопы имеют увеличение в 10 раз. Фотографии, сделанные через дерматоскопы, безусловно, имеют хорошее качество и детализацию. Их преимущество является и недостатком — для получения таких снимков нужен прибор дерматоскоп. Это сужает использование автоматического распознавания кожных заболеваний только для обладателей дерматоскопов, и это, как правило, врачи-дерматологи.

Мы хотели же сделать технологию, доступную для всех. Очевидным решением было использование фотоснимков, сделанных с помощью смартфонов.

Представьте, что ваш смартфон сможет помочь вам распознать вид кожного заболевания, определить степень риска для здоровья и дать рекомендации о дальнейших действиях.

Если описать все методы, которые мы пробовали и применяли для того, чтобы можно было анализировать снимки со смартфона, то получится целая диссертация по компьютерному зрению. Скажу лишь, что в апреле мы это сделали и решили, что пора получить обратную связь от первых пользователей.

Самый быстрый способ сделать рабочую версию MVP в нашем случае — подключить наши нейросети через бота в Telegram. Это гораздо быстрее, чем разрабатывать мобильное приложение, а пользователям отправить фотографию родинки через бота гораздо проще, чем устанавливать отдельное приложение.

@Skinseption_bot — это бот в мессенджере Telegram. Ему достаточно отправить фотоснимок с кожными проблемами (бородавки, акне, угри, родинки и другие новообразования на коже) и он определит степень риска, вероятный диагноз и рекомендации по дальнейшим действиям. Бот поможет записаться на очный прием к нужным врачам: косметологам, дерматологам, дерматоонкологам.

О запуске нашего бота мы рассказали в канале «Технологии будущего» @Tech_ru, где получили первые отзывы. Англоязычную версию бота мы опубликовали на Producthunt. Самое приятное — наш бот уже помог нескольким пользователям распознать опасные диагнозы, и благодаря этому люди смогут своевременно обратиться со своей проблемой к врачам.

Сейчас мне нужна помощь комьюнити vc.ru — вы первые альфа-тестировщики, и ваша обратная связь позволит сделать сервис лучше. Буду рад вашим отзывам, пишите мне в Telegram — @Malkieler.

Долгосрочные планы на будущее сейчас не строим — в приоритете, конечно, точность распознавания и количество диагнозов. В ближайшие дни бот будет доступен и в Facebook Messenger. Больше информации и демовидео (англ) на Producthunt.

P.S. Telegram-бот @Skinseption_bot не должен использоваться для установки конечного диагноза или лечебных целей. Точный диагноз и курс лечения назначает только врач на очном приеме.

Шазам для болячек

Очень очень интересная задумка. Столько нужно доработок и я как и Вы считаю, что за ии и ботами будущее в медицине. Если на западе уже повсеместно ии используют как второго помощника или ассистента врача. В России этот технологический прогресс произойдёт через 10 лет и то с трудом ( Сбербанк все заберёт и станет монополистов в этом ). Именно такие смелые проекты как Ваш бот может дать новый толчок в развитии медицины в будущем. Работая в медицине я сам думал над такими проектами как помощь мамам и папам, когда их дети болеют; небольшие подсказки — «ЧТО ДЕЛАТЬ В ТОЙ ИЛИ ИНОЙ СИТУАЦИИ».
Однако вы работаете в очень сложной системе медицины — где по фото надо поставить предварительный диагноз ( утрирую, пишу к примеру ) — это ещё раз оговорюсь — смелый шаг, но когда вы разрабатывали этот проект вы естественно думали и знали о рисках, которые предстоят.
В жизни все намного сложнее — показал терапевту свою роднику — отпарил к дерматологу — дерматолог к онкологу — онколог к терапевту — терапевт к хирургу — хирург удалил — отправил на исследование — исследование показало то то — опять по спецам.
Вы же грубо говоря своим приложением должны четко поставить грань точнее приблизительно между надо волноваться или не надо.
Ps. Сугубо личное мнение. Проект мегакрут

Достаточно спорный проект. А если по ошибке определит не то заболевание? Какой стресс будет у человека

Сходите лишний раз к дерматологу, лишним не будет. Лучше перебдеть, чем недобдеть.

Сделал 4 фотографии одной и той же области, показал 4 разных результата, от караул (3 разных заболевания: папиллома, карциома базальноклеточная и подозрение на злокачественную опухоль) до все в норме.

Если и идти к врачу, то уж явно не упоминать этого бота и его предварительные диагнозы, засмеют. С такой же степенью достоверности можно и самому нагуглить кучу болезней и то, будет достовернее, потому что у меня нет ни одной из болезней, о которой сообщил бот).

Поэтому не вижу смысла в этом проекте.

Поговорил с Кириллом. Мое мнение:

Задумка хорошая, но пока на данном этапе вы лучше объявите что она в стадии тестирования и что нужно ИИ обучать.

Желаю успехов в развитии.

Моя вина, не дочитал до момента, где сказано: "вы первые альфа-тестировщики". Я этот момент пропустил. Я как только увидел ссылку на бота, так сразу пошел тестировать))

Оцените имеющиеся высыпания самостоятельно и бесплатно

Модуль Диагностика онлайн предназначен для автоматического анализа имеющихся симптомов и получения перечня возможных диагнозов.

Принцип работы основан на выборе симптомов по фотография и их кратким описаниям в системе. Модуль содержит 2 467 дерматологических симптомов и около 5 000 их фотографий.

Врачам и студентам

Пациентам

5 шагов до диагноза — инструкция к применению

• Новый диагноз
• Сыпь и изменения
• Локализация
• Особенности протекания
• Доп. факторы
• Диагноз

Шаг 1. Начало работы

Первым шагом на пути к диагнозу является выбор пола.

Параллельно с выбором имеющихся симптомов создаётся формализованная анкета пациента, содержащая все отмеченные пользователем признаки.

Чем подробнее будут указаны данные в последующих шагах, тем вероятность правильного диагноза будет выше.

Шаг 2. Сыпь и изменения

Здесь необходимо указать виды сыпи на коже или на слизистых. Это может быть:

• пятно;
• папула (узелок);
• другие элементы сыпи.

Каждый элемент кожной сыпи при нажатии трансформируется в фоторяд с кратким текстовым описанием. Нужно сопоставить фотографии и их описание с имеющимися у себя симптомами.

Структура раздела Виды сыпи на слизистых аналогична разделу Виды сыпи на коже.

Разделы Изменения волос и Изменения ногтей описывают все возможные варианты поражения волос и ногтей.

Шаг 3. Локализация

На данном этапе необходимо определить локализацию высыпаний на соответствующих участках модели человека.

В подразделе Особенности расположения сыпи необходимо указать распространённость и симметричность сыпи.

В подразделе Взаимное расположение элементов сыпи нужно выбрать возможные варианты группировки высыпаний.

Шаг 4. Особенности протекания

В этом разделе необходимо указать особенности протекания заболевания:

• возраст, в котором оно началось;
• варианты его начала;
• длительность;
• варианты течения.

После выбора всех имеющихся данных диагноз становится доступным.

Чтобы повысить точность диагностики, предусмотрен пятый шаг Дополнительные факторы.

Шаг 5. Дополнительные факторы

Пятый шаг Дополнительные факторы не является обязательным, но позволяет повысить точность диагностики. Он включает:

• жалобы;
• факторы и условия, провоцирующие заболевание;
• имеющиеся сопутствующие заболевания (осложнения);
• сопутствующие проявления аллергии;
• отягощенная наследственность;
• взаимосвязь заболевания с вредными привычками;
• изменения чувствительности кожи в очаге поражения;
• симптомы на неизмененной коже;
• изменения кожи за пределами очагов поражения.

Диагноз

По результатам диагностики система выдаёт список из 10 диагнозов с указанием их вероятностей. Максимальная вероятность заболевания ограничена 80%.

Каждое из 10 заболеваний полученного списка можно подробно просмотреть и изучить.

Результаты диагностики можно скачать на свой компьютер или отправить на Консультацию эксперту в случае необходимости уточнения диагноза.