Камера с искусственным интеллектом распознает "памятные" сцены и снимает их автоматически
Камера с искусственным интеллектом может распознавать сцены, которые она «видит», чтобы автоматически снимать гламурные моменты, которые, вероятно, хотели бы запечатлеть ее владельцы.
Устройство принадлежит компании Canon, которая работает над созданием «умной» камеры с февраля. В его основе лежит искусственный интеллект, который распознает сцены, видимые через объектив. ИИ сам решает, какие кадры снимать. Владельцы могут просмотреть фотографии и решить, какие из них оставить.
Возможно, появление такого ИИ означает конец традиционному «сейчас вылетит птичка» для фотографии на семейном собрании или в гостях у друзей, когда все выстраиваются в ряд для «группового селфи» и заставляют себя натужно улыбаться. Вместо этого все памятные моменты регистрируются и фиксируются интеллектуальной камерой. Он также может записывать видео ключевых, впечатляющих моментов.
Canon PowerShot PX с объективом 19-57 мм может перемещаться по горизонтали на 340 градусов и наклоняться вверх и вниз на 110 градусов. Она имеет 3-кратный оптический и 4-кратный цифровой зум. Камера использует интеллектуальное отслеживание объектов и распознавание лиц, чтобы автоматически «видеть» людей и объекты, постоянно держать их в фокусе и снимать действия в момент их совершения.
Все это дополняется голосовым управлением: если человек хочет, чтобы камера запечатлела определенный момент или сфокусировалась на конкретном месте, голосовая команда подскажет ей, куда направить свое «внимание». Также можно снимать видео в формате Full HD со скоростью до 60 кадров в секунду.
По словам производителя, приложение автоматически отправляет неудачные фотографии и видео в мусорную корзину. Последнее особенно привлекательно для тех, кто любит делать много фотографий на семейных и дружеских встречах, после чего начинается долгий и мучительный просмотр фотографий, сортировка и удаление неудачных кадров.
Искусственный интеллект для камер смартфонов: что это и как работает
Прежде чем говорить о том, что такое искусственный интеллект (ИИ), стоит пару слов сказать об интеллекте естественном. Как понимают этот термин ученые, занятые в сфере когнитивных наук, интеллект – это качество психики, благодаря которому человек способен воспринимать и анализировать информацию, обобщать ее, делать выводы и действовать на их основе.
Также понятие «искусственный интеллект» связано с термином «нейросети». По сути, нейросеть является цифровой имитацией человеческого мозга. Клетки-ячейки нейросети (эквиваленты нейронов в человеческом мозге) соединяются друг с другом как и в «биологическом» мозге при помощи синапсов – специфических связей. Они проводят и обрабатывают сигналы, поступающие извне.
Таким образом, под искусственным интеллектом понимается небиологическая система, способная воспринимать и обрабатывать информацию, делать выводы и действовать на их основе.
Термин Artificial intelligence (AI) был впервые использован в 1956 году Джоном Маккарти – автором первого искусственного языка программирования. В шестидесятые годы и далее в разных странах мира, в том числе и в Советском Союзе, велись работы по обучению искусственного интеллекта способам мышления, схожими с человеческим. На данный момент большинство научных сообществ, технических компаний и политических лидеров признают дальнейшее развитие ИИ одной из приоритетных сфер научно-технического прогресса.
Искусственный интеллект сейчас находит применение фактически везде: на производстве, в бизнесе, сфере развлечений, медицине, искусстве, продажах, в банковской сфере и социальных сетях.
Выделяют три вида ИИ в зависимости от уровня развития: слабый, общий и сильный.
Слабый: ИИ может выполнять определенный набор задач и даже делать это лучше человека, постоянно развиваясь в конкретном направлении. Это тот вариант AI, с которым мы имеем дело сейчас, говоря об его использовании при съемке на смартфон.
Общий: ИИ может справляться с интеллектуальными задачами творческого характера. Создавать произведения искусства (например, писать стихи или картины). Или просто расспросить пользователя, как прошел его день, и выразить сочувствие, если что-то случилось. Такая технология используется в голосовых помощниках.
Сильный: ИИ способен справляться с любыми задачами, любого плана. И делать это лучше, чем человек. Соответственно, он сам способен создавать машины более высокого уровня – пожалуй, страшный сон человечества.
До сих пор нет единого понимания и отношения к искусственному интеллекту. Одни видят в нем просто технический инструмент для работы, другие – объект для развлечений, а третьи – опасность для существования человечества. Однозначно можно утверждать лишь то, что в нашей повседневной жизни ИИ играет все большую роль, хотим мы того или нет. И происходит это не где-то в далеком будущем, а здесь и сейчас. Вспомните только гуляющие по интернету ролики, где люди помогают роботам-доставщикам перейти дорогу – такими машинами также управляет искусственный интеллект. И это вовсе не кадры из научно-фантастического фильма.
Как работает AI в смартфонах: процессоры с нейромодулем
Мы уже давно привыкли к тому, что в большинстве камер существует автоматический режим: вот только проблема в том, что к автоматике не прилагается волшебная кнопка «сделать шедевр». А хотелось бы! Поэтому производители активно работают, пытаясь удовлетворить этот запрос пользователей.
Все чаще качество фотографий, сделанных с помощью камеры смартфона, не связано с возможностями самой камеры, количеством мегапикселей и даже творческим потенциалом ее владельца (к некоторому нашему сожалению). Конечный результат съемки зависит от работы процессора – в частности, его нейромодуля, благодаря которому и функционирует ИИ.
С чего все начиналось? В 2016 году компания Google представила свои супер-флагманские смартфоны Pixel и Pixel XL, обозначив переход мира мобильных устройств в эпоху искусственного интеллекта. У продуктов Apple в 2017 году в чипе Apple A11 Bionic также появился так называемый «нейронный движок» (Neural Engine) – он отвечает за работу ИИ.
В 2017 году Huawei представила свои флагманы Mate 10/10 Pro на базе SoC HiSilicon Kirin 970 с выделенным нейронным модулем (NPU). Не стала отставать от конкурентов и компания Qualcomm, выпустив в 2018 году чипсет AI Engine на базе мобильных процессоров Snapdragon.
При съемке ИИ анализирует кадр для установки оптимальных настроек камеры. Для этого нейронный движок должен «пройти обучение», изучив огромное количество изображений: он учится отличать объекты в кадре и понимать условия освещения (свет – один из основных параметров фотографии). В итоге мобильная съемка, сопровождаемая AI, проходит те же этапы, что и съемка, где за все отвечает сам пользователь. Но в случае с умными камерами все задачи по настройке параметров камер и последующей корректировке цвета берет на себя искусственный интеллект – или нейромодуль процессора.
На что способен ИИ при съемке
Постоянно получая и анализируя большое количество информации, ИИ способен вычислить, какая картинка будет наиболее приятна нашему глазу. Исходя из этого, он не только помогает камере настроить параметры съемки, но и производит программную постобработку кадра, применяя определенные алгоритмы по его улучшению в зависимости от исходника.
Итак, на что же способен ИИ в камере смартфона?
Анализ сцены. Первое, что делает AI при съемке – анализирует сцену и объекты, которые пользователь снимает. Оценивается сам предмет съемки: пейзаж, архитектура, ребенок, домашнее животное и т.п. Современные смартфоны с AI-камерами умеют распознавать десятки сюжетов съемки и применяют для них разные алгоритмы обработки. Также анализируются условия освещенности: от них зависит значение экспозиции. Чем меньше света попадает в кадр, тем больше должна быть раскрыта диафрагма и дольше выдержка.
Цвет. Все знают, что цвета предметов на фотографии зависят от уровня освещенности, от того, какой свет присутствует в кадре – естественный или искусственный. Солнце в зените создает в кадре глубокие, черные провалы в тени, а цвета кажутся блеклыми и смазанными. Холодный, жесткий свет ламп дневного освещения, теплый свет ламп накаливания – все эти особенности освещения приходится учитывать фотографу при выставлении вручную так называемого баланса белого. Но с камерой, которой управляет ИИ, пользователю не придется производить дополнительных «телодвижений». Нейронный движок сам выставит правильный баланс белого для каждого кадра и доработает цвета: сделает траву зеленее, небо – голубее, а кожу – румянее.
Удаление из кадра объектов. Вы снимаете сквозь стекло, например, в музее? Или сквозь сетку или решетку в зоопарке? Сегодня искусственный интеллект, который используется в мобильной съемке, умеет даже убирать такие артефакты из кадра.
Бьютификация. Полагаем, что здесь не требуется серьезных объяснений. Эта функция играет особенно важную роль при портретной съемке. ИИ виртуально проводит настоящие косметические процедуры: выравнивает кожу, убирает ее недостатки, придает лицу здоровый цвет и т.д.
Ночная съемка. Во-первых, при съемке в условиях плохого освещения ИИ оценивает, где находится смартфон: держит его пользователь в руках или установил на неподвижную поверхность. В соответствии с этим гаджет выберет выдержку. Во-вторых, в зависимости от объекта съемки и освещения сцены будет выбрана подходящая экспозиция и количество кадров для дальнейшего их попиксельного склеивания (вернее тех из них, которые удачно получились). На конечном этапе работы ИИ проводит анализ всех сделанных кадров, выбраковывает неудачные, а все удачные соединяет в одно итоговое изображение.
Что еще может сделать ИИ? При съемке на высоких значениях ISO в кадре неизбежно появляется тепловой шум – мелкие цветные точки, мешающие восприятию изображения. ИИ способен избавить изображение от них, при этом не уменьшая уровень детализации.
Стабилизация. ИИ способен высчитать уровень тряски телефона и динамически компенсировать ее в каждый отдельный момент времени. Таким образом, благодаря нейродвижку в современных процессорах вы получите ровную, плавную картинку даже при съемке на камеру без оптической стабилизации.
Замещение неудачных фактур. Представьте, что света при съемке не хватает, и резкость кадра оставляет желать лучшего. И здесь на помощь может прийти ИИ. Проанализировав кадр и объекты, изображенные на нем, технология заменит неудавшиеся части снимка на имеющиеся в базе данных изображения. Получить отличный снимок объектов на дальнем расстоянии с помощью камеры смартфона – легко! Например, луны – почему бы нет? ИИ подберет из своей базы данных подходящее изображение и заменит часть исходного снимка на него, подогнав по размеру.
Мультисъемка. У разных производителей этот режим называется по разному: у Honor это «Мультивидео», у Samsung – Director’s View («Режим режиссера»). Вне зависимости от названия суть одна – благодаря технологиям ИИ смартфоны могут вести запись одновременно на две камер: тыльную и фронтальную. Полезная функция для ведения репортажей, записи интервью или памятных моментов.
Кого считать автором фото: человека или ИИ?
В качестве итогов напомним, что на современном этапе развития мобильной фотографии не столь важно, какого размера матрица или какими линзами оснащен объектив. Гораздо важнее, какой процессор и нейромодуль скрывается за всеми действиями камеры смартфона.
Уже сегодня ИИ умеет многое – и продолжает развиваться. Благодаря умным камерам цвета на фото получаются более насыщенными, нет теневых провалов и участков пересвета, а лица людей «обработаны» косметически.
Правда, возникает вопрос: кого считать автором фотографии, созданной с помощью ИИ? Зачастую смартфон выдает такой яркий кадр, что объект на нем выглядит более привлекательно, чем в реальности. Не являются ли такие фотографии заведомым обманом зрителя? А как же первый из законов робототехники Айзека Азимова? Ведь робот не должен причинять вред человеку своим действием или бездействием. А такой обман можно квалифицировать как вред? Вопросов пока больше, чем ответов на них. Однозначно можно сказать одно – такие фотографии наберут много лайков в соцсетях, ведь ИИ знает, как нам понравиться.
Упрощение мониторинга с помощью искусственного интеллекта
Благодаря мощным чипам с искусственным интеллектом и алгоритмами глубокого обучения камеры с искусственным интеллектом активно анализируют изображения прямо во время прямой трансляции и выявляют отклонения, после чего мгновенно уведомляют об этом пользователей. Камеры с искусственным интеллектом совмещают в себе умный мониторинг, отсутствие ложных тревог, быстрый поиск объектов и не только, что существенно упрощает процесс мониторинга.
Преимущества камер с ИИ
Регулярно пропускаете события?
Надоели ложные тревоги?
Интеллектуальное обнаружение с предустановками
Классификация людей и транспорта
Не удаётся быстро найти нужный отснятый материал?
Умная рамка повышает эффективность мониторинга
Камеры с искусственным интеллектом точно определяют и обозначают на экране движения, людей и транспорт, что не позволит пропустить ни одного важного события.
Интеллектуальное обнаружение с предустановками
Возможность предустановки параметров обнаружения позволяет камерам VIGI с искусственным интеллектом точно определять любые отклонения, что существенно снизит число ложных тревог и позволит задать уникальные параметры для самых разных ситуаций.
Автоматическое отслеживание 1
Создавайте собственные охраняемые зоны для более точечного мониторинга.
Обозначьте границу и получайте уведомления, когда кто‑то пересекает её в одном из двух направлений или в обоих направлениях.
Обозначьте охраняемые области и получайте уведомления, когда в них кто‑то входит.
Обозначьте охраняемые области и получайте уведомления, когда из них кто‑то выходит.
При обнаружении оставленных предметов будет мгновенно отправлено уведомление.
При обнаружении исчезнувших предметов будет мгновенно отправлено уведомление.
Камера не будет выпускать конкретный движущийся объект из кадра за счёт поворотного механизма 1 .
Если кто-то будет на протяжении продолжительного отрезка времени слоняться без дела в охраняемой зоне, будет отправлено уведомление 2 .
Создавайте собственные охраняемые зоны для более точечного мониторинга.
Обозначьте границу и получайте уведомления, когда кто‑то пересекает её в одном из двух направлений или в обоих направлениях.
Обозначьте охраняемые области и получайте уведомления, когда в них кто‑то входит.
Обнаружение выхода из области
Обозначьте охраняемые области и получайте уведомления, когда из них кто‑то выходит.
При обнаружении оставленных предметов будет мгновенно отправлено уведомление.
При обнаружении исчезнувших предметов будет мгновенно отправлено уведомление.
Автоматическое отслеживание 1
Камера не будет выпускать конкретный движущийся объект из кадра за счёт поворотного механизма 1 .
Если кто-то будет на протяжении продолжительного отрезка времени слоняться без дела в охраняемой зоне, будет отправлено уведомление 2 .
Классификация людей и транспортных средств
Камеры VIGI с искусственным интеллектом также фильтруют ложную тревогу, срабатывающую на животных, листву, резкое изменение света и другие подобные объекты, что позволяет не отвлекаться на мелочи и сконцентрироваться на действительно важных угрозах.
- И люди, и транспорт
- Только люди
- Только транспорт
Умный поиск объектов
Камеры VIGI с искусственным интеллектом способны группировать файлы по типу на файлы с людьми, файлы с автомобилями и файлы с событиями. Вам же остаётся лишь выбрать интересующую вас категорию и найти нужный объект по соответствующим атрибутам. Такой подход высвободит массу времени для решения более важных задач, чем нудная перемотка всего отснятого материала в поисках нужного момента.
Поиск по типу события
Поиск по атрибутам людей 3
Поиск по атрибутам транспорта 3
Выберите нужное событие (например, пересечение линии или проникновение в охраняемую зону), и система сама отберёт все клипы, соответствующие заданному типу.
Быстро фильтруйте людей по ряду атрибутов, включая цвет одежды, пол, внешность и черты лица. После того, как нужный человек будет найден, можно будет быстро посмотреть все клипы с ним 3 .
Фильтруйте транспортные средства по ряду атрибутов, включая цвет и тип кузова 3 .
Где могут пригодиться камеры с ИИ?
Камеры VIGI с искусственным интеллектом позволяют повысить уровень безопасности, а также снизить затраты и ручной труд в ряде сценариев, включая ритейл, сферу образования, сферу гостеприимства и частный сектор.
Ритейл
В сфере ритейла работает множество самых разных людей, поэтому в случае кражи порой достаточно сложно найти виновного. Как правило, на поиски и расследование уходит много времени, ведь нужно просмотреть все отснятые материалы за определённый период времени, что значительно снижает эффективность работы и увеличивает затраты.
Преимущества камер с искусственным интеллектом
Умные алгоритмы помогут быстро выявить подозрительные действия возле полок с товаром, на кассе и на складе.
Умный поиск позволит быстро найти виновника.
Снижение трудовых затрат
Ручной поиск и перемотку всех материалов можно будет оставить в прошлом.
Образовательные учреждения
Нельзя переоценить важность создания безопасной среды в школах, однако зачастую посторонние объекты, будь то падающая листва или футбольный мяч на уроке физкультуры, приводят к срабатыванию ложной тревоги. Кроме того, школьная охрана и ответственные сотрудники должны быстро реагировать на любые происшествия и потенциальные угрозы.
Преимущества камер с искусственным интеллектом
Защита от угроз
Мгновенное обнаружение отклонений, включая несанкционированные проникновения и кражи.
Никаких ложных тревог
Точная фильтрация позволит не отвлекаться на мелочи и сконцентрировать внимание только на том, что действительно важно.
Мгновенные уведомления позволят охране моментально принимать нужные меры.
Гостиничный бизнес
Системы видеонаблюдения в гостиницах предназначены прежде всего для безопасности гостей и их вещей, однако большая текучка постояльцев и персонала существенно повышает угрозу безопасности и усложняет восстановление цепочки событий при происшествии.
Преимущества камер с искусственным интеллектом
Позволит выявить отклонения, такие как праздношатание или пропажа вещей.
Эффективное восстановление цепочки событий
Быстро находите нужные клипы с помощью удобных фильтров.
Частный сектор
Каждый дорожит своим домом, поэтому хорошая камера должна уметь обнаруживать любые отклонения и тут же сообщать о них жильцам. Кроме того, нужна хорошая фильтрация, которая позволит избежать ложных тревог при обнаружении животных, листьев и других движущихся объектов, не являющихся людьми.
Преимущества камер с искусственным интеллектом
Умное обнаружение событий
Камеры с искусственным интеллектом способны обнаруживать самые разные события, начиная с грабителей, проникающих в дом, и заканчивая детьми, перелезающими через забор.
Тревога только на людей
Тревога не будет срабатывать на животных, мячи и другие движущиеся объекты, кроме людей. Такой подход позволяет сконцентрироваться только на том, что действительно важно.
Инженер разработал ИИ-камеру, которая делает фотографии на основе звуков вокруг. Как это работает
Разработчик создал «слепую» камеру, которая делает фото, ориентируясь только на звук. В этом ей помогает искусственный интеллект, распознающий окружение по звукам и генерирующий изображение. Редакция MC.today рассказывает поподробнее.
Детям из Мариуполя нужно 120 ноутбуков для обучения — подари старое «железо», пусть оно работает на будущее Украины
Разработчик Диего Трухильо Писанти создал Blind Camera . Чтобы сделать фото, нужно только навести звукоуловитель устройства на объект и нажать кнопку. Затем искусственный интеллект распознает место по звукам и сгенерирует изображение. Полученный результат соответствует окружающему звуковому ландшафту, а не именно тому, что перед фотографом.
Для этой разработки Писанти создал новую нейросеть, которая может отличать звуки. Она обучалась на видео, снятых в Мехико. Так , для обучения взяли кадры видео и предыдущую секунду аудио. Таким способом образовались ассоциации, привязанные к местности. Поэтому кадры, сделанные Blind Camera, будут напоминать Мексику.
«Искусственный интеллект в основном пытается снизить предвзятость, однако Blind Camera вместо этого воспринимает себя как мексиканский городской объект, интерпретируя звуки, которые она слышит с этой позиции», – отмечается на сайте.