Видеоурок Теплицы: как улучшить диктофонную запись с помощью нейросети от Adobe Podcast
Adobe Podcast с функцией Enhance speech — очередной успешный пример использование обученной нейросети в той сфере, куда, казалось бы, искусственный интеллект должен был прийти в последнюю очередь: в сфере творчества.
Нейросеть от Adobe может улучшить запись с диктофона и независимо от того, на какое оборудование вы записывались и сколько было посторонних шумов в комнате, приблизить ее по звучанию к дикторской версии записанной в студии. Вам при этом ничего делать не нужно, нейросеть все сделает за вас
Улучшаем качество звука с помощью нейросетей
Есть еще один любопытный сервис. Если у вас плохой микрофон, или просто хочется улучшить готовую запись, вам поможет инструмент Аi-coustics.
Пользоваться ИИ очень просто — закидываете исходник и в ответ получаете улучшенный вариант аудиозаписи. Как говорится, не Adob’ом единым
Хотите узнавать первыми о полезных сервисах на ии для работы, учебы и упрощения жизни?
Слабовато. Адобовская штука лучше делает.
Эксперты назвали эту нейронку «будущим спорта»
Разработчики из JabbrAI создали ИИ-модель, которая подсчитывает удары и очки в спортивных единоборствах.
Осталось только добавить полоски здоровья как в Mortal Kombat
НЕЙРОСЕТИ | НЕЙРОТРЕНДЫ | CHATGPT | MIDJORNEY | STABLE DIFFUSION
Воплоти персонажей Genshin Impact в реальность с помощью этой LoRA!
Предрекая злостных диванных аналитиков в комментариях: Для тех, кто задаётся вопросом, что вообще здесь происходит — это обзор на дополнительные файлы, улучшающие качество создаваемых изображений в Automatic 1111, это оболочка для нейронной сети, генерирующей изображения — Stable Diffusion, а теперь к обзору модели, дорогие мои друзья!
Название: Genshin Impact AI Cosplayers Collection
Кол-во скачиваний: 1600+
Последний апдейт: Oct 01, 2023
Базовая модель: SD 1.5
Эта многосоставная LoRA позволит перенести вам ваших любимых персонажей из Genshin Impact прямо к вам на улицу, в комнату или куда-либо ещё! О чём ещё только можно мечтать 🙂
Создано в сообществе Stable Diffusion
Источник — Нейро-Склад🤖 — все, что нужно, для твоей нейронки!
Midjourney vs DALL·E 3
DALL·E 3 работает только с впн, можно сделать 100 бесплатных генераций, попробовать можно здесь.
prompt: photo of russian gorgon medusa with snakes instead of hair, walking down street in manhattan, wearing balenciaga hypebeast streetwear, blue hour
Если приближать и разглядывать фотографии, то будет видно, что далли делает размазанные глаза, в этом плане у миджи нет косяков. Ещё далли прописала бренд, змеи на головах более живые и как будто бы в движении, миджи всегда делала просто лежащих, и не всегда на голове.
prompt: an astronaut stands on the planet Jupiter and looks at the dawn, First Person View, Space Commander, Rainmeter, HUD Rise UI, futuristic interface
Здесь обе нейросети хорошо справились, у миджи разве что чёткость чуть получше.
prompt: shot by slim aarons of wonder woman in the room, complex layers and textures, detailed character design, background with bright, whimsical and colorful scenes, pastel colour correction like Wes Anderson movie, film grain, tokina at-x 11-16mm f/2.8 pro dx ii
Здесь далли однозначно справилась хуже, у неё получилось в яркие цвета стилей, но совсем не получилось в чёткость деталей, появились деформированные тела на фоне, лица совсем не удались.
prompt: USSR fairy in astronaut costume with wings
Решила также затестить фото c феями, но далли упорно не хотела делать фотографии, пришлось дописать photo of и на конце shot on agfa vista, миджи не проигнорила крылья, потому что был закинут реф с крыльями. Ещё были интересные варианты, когда всё-таки далли сделала фото, но с афроамериканкой.
prompt: 1990s, jedi Leonardo DiCaprio on russian dacha holding a lightsaber wearing knitted green sweater , shot on Agfa Vista 400
Далли очень круто отразила колорит русской дачи, добавила зерна плёнки и цветокор, сделала молодого Дикаприо, классные текстуры свитера. Миджи хорошо отразила цветокор плёнки, Дикаприо сделала постарше.
prompt: 80s, photo of plump cute fat cats in aerobics class, wearing funny leopard leggings and pink bodysuits, shot on Kodak Gold 200
Котики снова на высоте, и та и другая нейросеть отлично понимает плёночные камеры, но далли даже зерно добавляет на изображения.
prompt: street photo, beautiful fantasy elf sitting next to orc, wearing nike sportswear and holding ice cream
Далли хорошо справилась с реализацией героев, мы видим орка и эльфа с эльфийскими ушами, спорт-костюм найк также присутствует, но глаза размазанные. Миджи чаще всего игонорирует эльфийские заострённые уши, найк также проигнорирован. У меня есть пост, где я писала о том, что Stable Diffusion XL отлично справилась с эльфами и орками, можно посмотреть здесь.
prompt: pastel colors bubble figure in the style of ray tracing, feminine sculpture, metallic finishes, shiny/glossy, colorful turbulence, pigeoncore, unconventional poses, anamorphic art, in the style of rendered in cinema4d, iridescence/opalescence, video feedback loops, shiny eyes, bold curves, shiny, fluid figuratism
Получилось интересно и там и там.
prompt: Donald Duck and Webby Vanderquack in Michelangelo’s The Creation of Adam painting
Далли смогла с первой попытки реализовать позы с картины и руки, понку проигнорировали обе нейросети, миджи же даже с рефами так приблизиться к картине не смогла.
prompt: 2280s, Award-winning photo by Petra Collins of beautiful adult fairy moves around the city in the air on a futuristic flying board, she flies up to her forest modern technological house, magic realism
Далли намного точнее отразила промпт, феи реально на летающей доске и они с крыльями, миджи всё время сажала на непонятной формы летательные аппараты вместо досок, крылья тоже чаще всего игнорировала, но при этом далли снова ушла больше в иллюстрацию и зашакалила лица, миджи же в фотореализм, чёткость лица у неё на высоте.
prompt: Award-winning photo by slim Aarons of Albert Einstein shows tongue on Burning Man in candypunk fashion, moonlight, Golden Ratio, magic realism
В миджи Эйнштейн похожим получается только с добавлением его фото-референса и присвоения ему веса 2, далли же сделала его узнаваемым без рефа и с первой попытки, но как экспонат, а не живым, а также смогла высунуть язык, в миджи это не реализуемо, я в итоге в фотошопе допиливала язык.
Сделала сайт-статью сравнение, потому что тут можно только 25 изображений, а их вышло 82.
Приглашаю вас досмотреть и поделиться потом обратной связью. Там писала свои комментарии и выводы.
Программа с открытым кодом для извлечения вокала из трека
Всем привет! Сегодня Ultimate Vocal Remover GUI у нас на обзоре. Программа доступна на GitHub и установщиком, давайте посмотрим, на что она способна!
Я возьму три трека для пробы
DJ BoBo — Let The Dream Come True
Junior Caldera — Can’t Fight This Feeling
The Weeknd — After Hours
Покажу работу на двух моделях, которые мне понравились больше всего — MDX-Net — очень качественно отделяет голос и Demucs — имеет возможность сплитнуть трек на 4 дороги — бас, ударные, мелодия и голос. Каждая хороша под свои задачи и как по мне эта программа справляется лучше онлайн-сервисов AI Splitter’a и Vocal Remover’а с их одной бесплатной попыткой. Кстати, пройдёмся по кнопкам и крутилкам внутри программы:
В окне Select Input выбираем файл с компьютера, с которым будем работать. Output соответственно выбираем куда сохранять
Choose process method — выбор модели. Вы можете поэкспериментировать, но, как я уже сказал, мне приглянулись две модели из этого списка.
В правом верхнем углу выбираем формат в который будем экспортировать.
Segment Size — вот тут сложнее. Как я понимаю — это что-то типа объёма буфера, что напрямую влияет на качество генерации. Я выставил 2560, но думаю можно и больше, но мне показалось этого более чем достаточно.
GPU Coversion — использовать графический процессор для более быстрого результат
Instrumentals/Vocal only — сохранить только вокал либо только инструментал
Sample Mode — для тех, кто хочет найти для себя лучшую модель — вместо полного трека демонстрирует 30-секундные отрывки с отделенным голосом
Overlap я поставил дефолтный. Вот кстати мои настройки для модели Demucs:
Давайте посмотрим на результат:
MDX-Net очень круто справилась с задачей, я думаю если выставить в Demucs буфер побольше то результат будет покруче!
До новых встреч, ждите новые гайды на классные нейросетевые штуки!
Интересна тема генерации музыки с помощью нейросетей? Добро пожаловать в Нейро-Звук🔉
Понравилось? Тогда милости прошу в мой телеграм канал, буду ждать тебя там!🔥
Новый уровень редактирования изображений
DragDiffusion изменит изображение, согласно вашим манипуляциям. Нужно лишь сместить ключевую точку на фото.
Нейросеть может переместить любые объекты, изменить их размер и вид.
Руссифицировал трейлер Cyberpunk 2077: Phantom Liberty Trailer (русский дубляж) Russian voices голосами оригинальных актеров
Потратил 10 часов и время фермы в 40GPU для создания русской озвучки трейлера к дополнению Phantom Liberty. Треллер вышел на английском языке озвученный реальным актерами такими как Идрисс Эльба (других я тупо не знаю). Собственно голоса в русской версии именно оригинальных актеров всех тех, что были в трейлере, которые само собой по русски ни разу в реальной жизни не говорили. Для того, что бы заставить говорить Идриса на русском хватило его монологов из трейлера, остальные голоса тоже брались из ролика. Особенно крутым фактом считаю, что образцов голоса презинента всего 6 секунд из всего ролика и даже этого хватило для обучения нейросети. Так же нейросеть не тупо озвучивает субтитры в отрыве от контекста, до этого ей был скормлен весь контекст ролика со всеми диалогами именно по этому она понимает где какие интонации нужно применить и где какие эмоции, то есть кто с кем общается и как это нужно произнести. Собственно предлагаю ознакомиться с результатом:
Cyberpunk 2077 — Русская озвучка для DLC Phantom liberty синтезированными голосами (Ви, Адам Смешер, Джони Сильверхенд)
У меня есть желание, финансовые ресурсы, мощности GPU фермы, а так же некоторые способности, что бы озвучить DLC Сyberpunk 2077 Phantom liberty полностью на русском языке синтезированными голосами которые вы с трудом отличите от реальных голосов актеров озвучки. Для этого мне потребуются семплы голосов из оригинальной игры, умельцы которые помогут их взлечь уже нашлись.
Суть моей затеи следующая:
1) Набираю по 20 минут голосов всех персонажей игры,
2) Обучаю нейросеть голосам и создаю все голоса персонажей игры ну или большую часть ключевых (просто неписей я думаю можно озвучить 1 голосом)
3) Выгружаю все субтитры из DLC
4) Пишу скрипт который будет по API загружать тексты в мою нейросеть для озвучивания
4) Создаю все звуковые файлы с голосами персонажей для текстовых файлов субтитров. (самое трудозатратное и по деньгам и по времени)
5) Пишу скрипт который все голоса упакует в игру обратно
6) Получаю игру с русской озвучкой
Я не уверен, что всю получится, на каждом этапе можно споткнуться (навыки программирования у меня достаточно слабые) а ведь ещё есть такое понятие как липсинк. Ну вообщем идея такая. Демонстрация возможностей синтеза голосов можете увить на видео ниже. В этом же видео будут приведены в пример куски оригинальных голосов с которых нейросеть обучалась. Очевидно, что чем больше будет голосовых данных с разными эмоциями тем точнее и интереснее можно будет делать озвучку. В идеале 20 минут голоса на каждого персонажа.
Обсуждение проекта русификации происходит на на этом дискорд сервере:
ТинькOFF заметает следы
Продолжение моей эпопеи и нашей борьбы, первая статья и видео — в серии. В предыдущем видео — со мной заключили спорный договор и сделали из меня общедоступный синтез, который теперь звучит в 18+ рекламе.
Сейчас я хочу дать ответ банку, а также обсудить спорные моменты и поделиться мнением экспертов, а также призвать вас к участию в нашей борьбе!
Расшифровать текстовую версию в этот раз, увы, не успела
Ответ на пост «Из голоса банка — в п0рнo»
Официальное заявление Пиратской партии России о праве на голос и изображение
2023 год в технологическом плане по праву можно назвать годом интереса к нейросетям — инструменты генерации фото, видео, звука, кода и т.п. стали доступны широким народным массам.
Однако, как это обычно бывает с распиаренными темами, технологию стали использовать в коммерческих целях люди, которые не просто генерируют контент, а используют для этого неизменённые данные.
Один из таких случаев произошёл (https://www.youtube.com/watch?v=xfhPMKpPQng) с Аленой Андроновой aka Holly Forve, актрисой озвучивания и дубляжа и генератора иного общественно полезного контента. Как сообщает Алена, в 2019 году она озвучила текст для Тинькофф Банка, а после этого обнаружила использование своего синтезированного голоса в озвучке порно. После этого Алена обнаружила телеграм-боты, которые взяли без разрешения голоса нескольких актёров озвучивания и дубляжа, и после этого предложили актёрам легализовать использование их голосов.
Голос и изображение конкретного человека являются биометрическими персональными данными. Пиратская партия России считает, и это закреплено в нашей Программе, что защита персональных данных должна быть одной из основных целей государства, а также что право автора на имя должно остаться незыблемым: https://pirate-party.ru/docs/programma-piratskoj-partii-rossii-ot-28-maya-2017-g
Однако одним из наших программных принципов также является то, что система охраны авторских прав должна поощрять авторов, уважая и соблюдая права других граждан, в частности, право добросовестного использования, то есть свободного использования произведения в личных целях, без разрешения правообладателя и без выплаты ему вознаграждения. Кроме того, следуя принципу “Культуры ремиксов” (Remix culture) мы выступаем за допущение по умолчанию действий по улучшению, изменению, интеграции, или иным образом изменений и ремикса на исходную работу владельцев авторских прав: https://ru.wikipedia.org/wiki/%D0%9A%D1%83%D0%BB%D1%8C%D1%82%D1%83%D1%80%D0%B0_%D1%80%D0%B5%D0%BC%D0%B8%D0%BA%D1%81%D0%BE%D0%B2
Таким образом, мы против использования неизменённых голоса и изображения конкретного человека, в том числе синтезированного, в коммерческих целях без явного согласия этого человека, и в любых других целях без упоминания имени этого человека с возможностью удаления контента по его просьбе и прекращения использования его голоса и (или) изображения.
Из голоса банка — в п0рнo
Привет. Меня зовут Алена Андронова, я актриса озвучивания и дубляжа. Однажды я согласилась на заказ озвучки большого массива текста для внутренних нужд банка Тинь кофф, а в итоге — я услышала себя в порно и лишилась части работы. Я подала иск в суд и хочу поделиться с вами этой историей, а также расскажу вам о том, что сейчас происходит с актерами озвучивания из-за развития нейросетей, как у нас в прямом смысле слова воруют голоса и обманывают нас в договорах. И это проблема не только нашей индустрии — сейчас легко подделать любую личность, украсть голос, подставить кого угодно – и расскажу, что мы предлагаем для того, чтобы защитить себя.
Длиннопост, для любителей слушать – есть видео, текст в основном его дублирует
Итак, всё началось для меня аж в 2019 году. В профессиональном сообществе я увидела объявление, что ищется женский голос на большой объем работы.
При обсуждении таких заказов обычно сразу назначают стоимость за объем. Задачу толком не объяснили, но такое часто бывало, особенно из-за НДА. Я отправила демо, потом прошла большой кастинг. И только после согласования я узнала, что это за компания, для которой планируется заказ, и мне прислали договор на утверждение. На первый взгляд всё было как обычно, стандартные формулировки об исполнении и обязательстве записать объем текстов. Однако уже только на самой записи выяснилось, что это объем текстов для создания нейросети.
На первой записи присутствовали представители банка, и когда я начала их расспрашивать, мне было сказано, что мой голос записывается только и исключительно для внутренних задач банка, он поможет обучить Олега и заменит собой колл-центр, на этом всё. Я тогда расстроилась, что не знала всей информации о задаче и не могла адекватно оценить проект, но раз уж договоренность была достигнута, а студия арендована, решила поверить на слово и сделать честно свою работу.
С тех пор прошло несколько лет, и год назад мой друг задал мне вопрос, озвучивала ли я порно-рекламу. Я ответила — нет, наверняка ты перепутал. Но он продолжал утверждать, что это был мой голос. Вскоре и другие знакомые и коллеги стали об этом говорить и присылать мне записи экранов, на которых при включении видео запускается откровенная порно-реклама, без какой-либо цензуры, которая озвучена синтезом моего голоса.
18+ контент, прям очень 18+ контент https://disk.yandex.ru/i/DiiinHWOcHISZg (запись с экрана тогонескажукого)
Я стала гуглить и обнаружила, что мой голос открыто доступен для любого синтеза на сайте банка и продается на многих сторонних площадках. Я начала искать юриста, а также пытаться связаться с юристами банка Т. Однако в моем договоре не было никаких контактов для связи, на отправленные письма — физические, электронные, — юристы не отвечали, а сотрудники банка, к которым я обращалась за помощью и контактами юридического отдела, отказывались мне их давать. А все это время мой голос продолжали синтезировать, им озвучивались эротические чаты, подписки и донаты на трансляциях, коммерческая реклама. Даже студии, с которыми я ранее работала как актриса, стали продавать мой синтез на телеканалы и стриминговые сервисы (как пример, документальный фильм «Космос: Новые горизонты»).
Почему я не смогла себя обезопасить? Напоминаю, это был 2019й год. Никакой пандемии, только-только внедряются первые голосовые помощники, Алиса и Олег, никто нигде не может синтезировать их голоса и о массовом синтезе вообще речи пока не идёт. К тому же, сотрудниками мне было обещано, что мой голос останется только для внутренних задач банка и я надеялась на честность со стороны такой крупной корпорации. Зря
А что же договор? В нем нет ни слова “синтез”, ни упоминания нейросетей, ни каких-либо подробностей об использовании записей. Это стандартный договор о том, что я создаю исполнение, передаю его и разрешаю его обработку. В то время это был обычный типовой договор, мы подписываем такие несколько раз в месяц. Согласование всегда было на совести студий и посредников. Конечно же, я внимательно читала договор, но в данном случае согласование шло фактически “вслепую”, так как о главном – о том, что мы пишем синтез, — в нем ни слова нет.
В дальнейшем ко мне обращались за дозаписью материала, и когда я спрашивала, для чего и куда он пойдет, мне не отвечали и переставали выходить на связь. Я сама делала запрос с просьбой банку подтвердить мне означенное соглашение ещё до публикации синтезов и осталась без ответа.
И я не одна пострадала в этой ситуации. Через год мой коллега, Павел Дорофеев, записывал для банка также и мужской голос, он уже знал от меня чуть больше о работе, задавал те же вопросы, что и я, уточнял, не пойдет ли данный материал куда-либо ещё.
Павлу было сказано, что синтез совершенно точно нужен для внутренних задач банка, а пункт о передаче голоса третьим лицам нужен лишь для того, чтобы передать материал для технического синтеза их дочерней компании.
В итоге голосом Павла сейчас озвучиваются различные видео в интернете, в том числе и ролики, направленные на осуждение действий российских войск и специальной военной операции. Мы совершенно не можем ни контролировать, ни отвечать за то, в чем участвует наш голос. Мы не можем отвечать за то, в чем люди нас услышат. А многие не способны уже отличить, где говорит синтез, а где — живой человек. А ещё плохая работа синтезов подрывает также и наш авторитет как хороших дикторов и актеров.
Почти год я потратила на попытки связаться с банком через всех, кого могла, в итоге получила ответ, что я не имею права ни на какие претензии, однако банк признает свою вину и готов выплатить мне совершенно смешную компенсацию, примерно в стоимость месяца-двух моей работы, при условии, что я полностью откажусь от всех своих претензий. Этот вариант меня не устраивает. Поэтому я подала иск и буду судиться с банком Тинькофф. Однако за этот год я узнала о синтезах и их развитии очень многое, а также о том, что сейчас происходит в связи с этим в законодательстве в России и в мире.
Я нашла в открытом доступе много голосов своих коллег, кто-то из них действительно записывал синтезы, однако почти во всех случаях условия изначально обговаривались другие или речь о синтезах не шла. Почти все проекты были записаны давно, до массового распространения нейросетей. Я общалась с разными юристами в поисках того, кто возьмется за моё дело, и узнала, что почти все известные вам голоса, записывавшие для кого-то синтез или голосовых помощников, были так или иначе обмануты и прибегали к услугам юристов. Я видела чужие договоры с другими компаниями, в которых, как и в моем, нет никаких упоминаний о синтезе и нейросетях. Я находила и голоса, которые не записывали синтезы, однако все равно появились в открытом доступе, а это означает, что кто-то, возможно, кто-то из студий, с которыми мы работаем, использовали нашу с ними работу для создания таких нейросетей. В основном эти голоса залиты на сайты, зарегистрированные на уже недействующие ИП, вроде такого и похожих аналогов.
Апогеем же всего этого являются различные телеграм-боты, вроде Silero или SteosVoice, которые вскрыли файлы из известных компьютерных игр, в том числе таких компаний, как Blizzard, CD Project Red, Riot Games и других, и синтезировали голоса актеров без их ведома и без разрешения правообладателей, и ещё и продают эти голоса. Но при этом говорят, что якобы на использование голосов получили разрешение.
Многие слышали о художниках, о том, что нейросети обучали на их работах без их ведома. Но если мы говорим о голосах — голос синтезируется не из какой-то общей массы, используется голос одного конкретного человека: его собственный тембр, его манера, его интонации, дикция. Это очень личное, это одна из вещей, в принципе составляющих часть личности человека.
Прямо сейчас список людей, которых несанкционированно синтезировали, огромный, входят в него и известные мэтры, и молодые актеры — есть там и Всеволод Кузнецов, и Ольга Плетнева, Михаил Тихонов, Татьяна Шитова, Ольга Зубкова, Юлия Горохова и многие другие. Совсем недавно вышел трейлер дополнения к игре киберпанк, озвученный полностью синтезами голосов из игры.
Удивительно то, что авторы этих ботов не только не постеснялись своровать голоса, но и стали писать актерам с предложением сделать синтез для их проекта под эгидой “защиты голосов от воровства”.
Не видите в этом никакого противоречия? Я напрямую задала вопрос создателям этих ботов, как так получилось, и вот что мне ответили.
Такую же риторику я слышала и от менеджеров банка Тин ькофф, когда говорила с ними, и от других людей, никак не заинтересованных. Правда ли это? Вот что говорит юрист Тамара Богданова, которая занимается вопросами права и сейчас много работает с темой синтезов речи:
Голос — это нематериальное благо, он принадлежит каждому человеку с рождения. Он является частью его личной биометрии, как отпечаток пальца или рисунок глаза. Банки в том числе используют распознавание по голосу в своей системе для подтверждения личности. Многие голоса мы легко идентифицируем. И когда актер или диктор подписывает договор о создании Исполнения, само собой разумеется, что он готов создавать результат, но заказчики считают, что имеют право создать синтез из личного слепка голоса и использовать его, как им вздумается, совершенно невзирая на урон, который они наносят человеку. Хотя в соответствии с подпунктом 4 пункта 1 статьи 1315 Гражданского кодекса Российской Федерации исполнителю принадлежит право на неприкосновенность исполнения, в том числе постановки, — право на защиту исполнения от всякого искажения, то есть от внесения изменений, приводящих к извращению смысла или к нарушению целостности восприятия исполнения, в его запись, в сообщение в эфир или по кабелю, при доведении исполнения до всеобщего сведения, а также при публичном исполнении постановки спектакля.
(Цитата не из видео, а из наших материалов, в видео Тамара рассказывает куда подробнее)
В итоге разные заказчики, студии или же вообще сторонние люди пытаются сослаться на то, что якобы раз актер дал право на переработку своего голоса, то с ним можно делать что угодно. Однако переработка всегда означала звукорежиссерскую обработку: чистку звука, наложение музыки и прочие действия, но никак не создание общедоступного клона своего голоса. А сейчас выходит, что, злоупотребляя своим правом, любая студия или заказчик могут стряхнуть пыль с договора 10-15-20летней давности на любую аудиокнигу или другой проект и создать из актера нейросеть. И это уже происходит! Есть история одного диктора, записавшего большой объем материалов для кафедры фонетики аж в начале 2000-х годов! И прямо сейчас он оказался синтезирован, естественно, без своего ведома.
Да и, как я говорила ранее, абсолютно любой человек может оказаться беззащитен. Создатели синтезов говорят о том, что сейчас технологии уже так продвинулись, что им нужен всего лишь небольшой слепок голоса человека, чтобы создать его копию. Буквально запись на пару минут.
В открытом доступе уже существуют сайты, обещающие сделать синтез по небольшому отрывку аудио. Представьте, что смогут делать мошенники, имея возможность в реальном времени имитировать вашу речь! Да и даже использовать уже доступные голоса — мой голос является голосом колл-центра банка, кто угодно сейчас может его синтезировать и позвонить вам от имени банка. Голос Всеволода Кузнецова является голосом Альфа-банка — а его голос для синтеза своровали из файлов видеоигр. Сейчас мы говорим не о роботизированном голосе, который можно определить — современные технологии записывают голос поверх речи, повторяя интонации и даже мелодию! Так, например, синтезируются песни из голосов разных исполнителей, например, в сети уже много записей с голосом Горшка из КиШа. Всего год-два, и синтезированный голос нельзя будет отличить от настоящего. И говоря о Горшке — как быть с вопросами этики? Уже создаются синтезы из голосов мертвых артистов и певцов — из наших коллег это, например, Владимир Вихров или Андрей Ярославцев. Насколько этично использовать их голоса по отношению, например, к их родственникам? Я считаю, что они должны как минимум давать свое согласие, а, в идеале, родственники должны получать отчисления, как это происходит с авторским правом.
И всё, о чем я говорю, происходит не только в России! Точно также воруются голоса из зарубежных игр — например, совсем недавно вышел эротический мод на Скайрим, озвученный синтезированными голосами из игры, это взволновало актеров. Дикторы, работавшие с Apple и их дочерними компаниями, были не в курсе, что их голоса используются для обучения ИИ. Прямо сейчас в Голливуде проходит забастовка актеров в том числе связанная с нейросетями — кинокомпании оживляют с помощью дипфейков мертвых актеров, а многие пытались прописать в контрактах сканирование актера с разовой оплатой и последующим вечным его использованием. Разве справедливо такое отношение к работникам от гигантов, воротящих миллионами? Тем не менее у нас же нет таких гильдий, и то, о чем я говорю, также касается единственного, что сейчас на нашей стороне — справедливости и честности.
Что же нам делать, как мы все — любой из нас, — можем защитить себя от нейросетевой подделки? И как актерам защититься от копирования их голоса и внешности? Современное законодательство не готово к такому развитию нейросетей, и мы с моим юристом, а также совместно с Союзом дикторов России, предлагаем внести ряд законодательных изменений. Мы создали петицию, в которой перечислены все предлагаемые мной правки, если вы будете с ними согласны — пожалуйста, перейдите по ссылке в описании и помогите нам собрать голоса!
ПЕТИЦИЯ О ЗАЩИТЕ ГОЛОСОВ ОТ МОШЕННИЧЕСТВА И СИНТЕЗА находится на сайте, ссылку на который Пикабу блокирует, но она есть в описании к видео
Нам очень поможет любая помощь – голоса, просмотры, комментарии, лайки. Если вы согласны, пожалуйста, помогите нам донести наши предложения до органов власти. Нам нужна помощь любых СМИ и блогеров, чтобы не оставлять все происходящее безнаказанным. Любой из вас, кто когда-либо записывал любое видео в интернете или отправлял голосовые сообщения, может оказаться в ситуации, когда его голос и внешность будет подделаны мошенниками.
Всех дикторов я прошу внимательно проверять договоры, писать в случае наличия вопросов юристам и ни в коем случае не подписывать договоры на отчуждение своего голоса, особенно если работа ведется над большим объемом текста, а все обещания по его использованию даются только на словах.
Сейчас страшно выкладывать любой обширный материал в интернет, особенно учитывая специфику нашей работы. Сейчас у нас совершенно нет никакой защиты, и даже громкое имя, как в моем случае с банком Т инькофф, не является никакой гарантией.
Я очень надеюсь, что нам вместе удастся добиться справедливости. Напоследок я хочу подчеркнуть, что я ни в коем случае не призываю запретить нейросети, однако хотелось бы защитить всех — актеров, блогеров, политиков, журналистов, художников, простых людей — от воровства, обмана и мошенничества. Хотелось бы создать возможность бороться за себя в этом новом мире. И хотелось бы, чтобы большие корпорации относились к своим наемным работникам с уважением, не уничтожая их репутацию и годы работы одним заказом, как это произошло со мной и многими другими.
Нейросеть которая улучшает качество звука до студийного
Adobe запустила бесплатный инструмент для превращения обычных записей в «студийные»
Adobe представила ИИ-инструмент Enhance Speech, который улучшает качество обычных записей, доводя его до «студийного» уровня.
Таким образом можно обработать обычную запись, сделанную на средний микрофон или диктофон, и она будет звучать как выполненная в профессиональной студии.
Enhance Speech бесплатно доступен для всех пользователей. Чтобы воспользоваться им, необходимо иметь учётную запись на сайте Adobe.
Пользователи могут загружать файлы в форматах MP3 и WAV до 1 часа до 1 ГБ. Процесс улучшения занимает несколько минут.
Сервис стал частью проекта Adobe Poscast, который предназначен для подкастеров. Он также включает бесплатный инструмент MicCheck, помогающий настроить микрофон, и приложение для редактирования аудио на основе стенограммы.
Нейросеть, улучшающая звук и аудиозапись: 7 лучших решений
Кажется, что в 2023 можно найти нейросеть буквально под любой запрос: сгенерировать изображение, написать вовлекающий заголовок, набрать текстом лекцию с YouTube или создать логотип. Но что делать, если вам нужна нейросеть, улучшающая звук, чтобы разобрать голосовое сообщение или интервью? Мы нашли 7 сервисов для борьбы с посторонними шумами на аудио и готовы с вами поделиться.
Топ-7 нейросетей, улучшающих звук
Lalal.AI Voice Cleaner
Lalal.AI Voice Cleaner — это нейросеть для улучшения качества аудиозаписей, которая помогает справиться с шумами. Искусственный интеллект использует алгоритмы, позволяющие выделять голос из записи: вам не нужно тратить много времени или долго копаться в настройках, достаточно загрузить аудио и программа выдаст вам две аудио дорожки — с голосом и с фоновыми звуками.
Помимо обычной голосовой записи вы можете выделять из аудио инструментальные партии, ударные, бас, фортепиано, электро гитару и вокал без потери качества.
Для того, чтобы разделить голос и фоновой шум из аудио, вам нужно нажать на кнопку “Select Files” и загрузить файл:
Далее, сервис обрабатывает материал и выдаёт его в виде двух аудио дорожек — сам вокал (голос) и инструментал (посторонние шумы).
Для бесплатного использования у вас есть возможность загрузки аудио дорожки до 10 минут размером не более 50 мб в форматах: MP3, OGG, WAV, FLAC, AVI, MP4, MKV, AIFF, AAC. Платные пакеты увеличивают доступную длительность и размер загружаемого файла, а также дают возможность быстрой обработки, загрузки сразу нескольких аудио и скачивание готового файла. Оплата за услугу разовая. Стоимость варьируется от 15 до 300 евро. ИИ можно использовать как в веб-версии, так и в десктопном приложении на Windows, MacOS и Linux.
Krisp
Нейросеть, улучшающая звук представляет собой программу, которая создает дополнительный слой между аудио сигналом с микрофона и приложением для аудио-звонков, убирая сторонние шумы. Отличное решение, когда вам срочно нужно присоединиться к конференции, а вы находитесь не в тихом помещении, а на улице или в шумном кафе.
Сервис способен убрать гул вентилятора, звуки клавиатуры, крики детей, шум машин, разговоры мимо проходящих людей и т.д. Krisp вычисляет, каким приложением для звонков вы пользуетесь и автоматически передает в него очищенный звук. Также, вы можете не только фильтровать свой голос, но и голоса других участников созвона, если не получается разобрать речь.
ИИ доступен бесплатно до 60 минут в день, платная версия обойдется в $12 за месяц, либо $96 за год при оформлении годовой подписки и оплаты разовым платежом. Использовать Krisp можно на платформах Windows и MacOS.
Adobe Enhance Speech
Нейросеть от компании Adobe способна повысить четкость речи, убрать большую часть шума с аудио, включая эхо и превратить обычное голосовое сообщение в студийную запись голоса. Также, ИИ предлагает помощь в настройке микрофона, чтобы улучшить звук для записи подкастов. Если в вашем аудио посторонние шумы в каких-то местах будут звучать громче, чем голос — будьте готовы, что часть слов может пропасть при обработке.
Платформа отлично работает с записями на английском языке, но при работе с файлами на русском может появиться американский акцент.
На данный момент Adobe Enhance Speech доступен в рамках Adobe Podcast бесплатно, но с некоторыми ограничениями: вы можете загрузить в нейронку аудиозапись в формате MP3 и WAV размером до 500 мб и продолжительностью до 60 минут. Всего за день вы можете улучшить качество аудио общей длительностью до 3 часов.
Auphonic
Нейросеть предназначена для обработки аудиозаписей и видео. Алгоритмы помогают избавиться от постороннего шума, работают с уровнем громкости голоса, а также выравнивают звук между его источниками. Программа поможет найти идеальный баланс между голосом собеседника и фоновой музыкой.
Auphonic работает как с одиночными аудиозаписями, так и с многодорожечной обработкой, где вы можете указать пространственную характеристику — поставить звук на первом плане в случае голоса или оставить фоном. Кроме того, программа позволяет добавить метаданные для файла — автор, участник записи, издатель, тип лицензии, жанр, комментарий, тег и год выпуска.
Сервис доступен в веб-версии, также есть приложения для App Store и Google Play.
Чтобы протестировать функционал нейросети, предоставляется возможность обработки аудиозаписи длительностью до 2х часов в месяц. За месячную подписку придется отдать от 11 евро и более, в зависимости от длительности аудиозаписей, и от 10 евро в месяц при оформлении годовой подписки.
Cleanvoice AI
Сервис помогает удалять нежелательные звуки с аудиозаписи. Если голосовое сообщение или подкаст заполнены словами вроде “эх”, “ох”, “нууу”, звуками зевания и причмокивания губ, заиканиями или длительными паузами — программа обнаружит их и вырежет. Куда приятней слушать “очищенную запись”, чем ждать, пока автор аудио вспомнит, о чем говорил ранее и продолжит запись.
У Cleanvoice AI доступна бесплатная обработка аудио длительностью 30 минут, за большее придется платить. На выбор предлагается два вида оплаты: месячная подписка по цене от 10 до 80 евро за 10, 30 либо 100 часов обработанной записи, или покупка кредитов — стоимостью от 10 до 40 евро за 5, 10 либо 30 часов записи, которые вы можете использовать в любое время на протяжении 2х лет.
Altered AI
Нейросеть, улучшающая звук аудиозаписи и позволяющая заменить диктора — это все о Altered AI. ИИ позволяет изменять ваш голос на любой портфельный или пользовательский, редактирует его и может превращать речь как в шепот, так и в крик. Также, вы можете преобразовывать текст в свой голос или голос известного актера, диктора и даже менять “возраст” голоса — от детского до пожилого, которые не отличить от реальной записи.
Сервис включает в себя два инструмента: Голосовой редактор — для записи и редактирования голоса в виде онлайн-приложения, и Altered Studio — аудиоредактор нового поколения с голосовым ИИ. Голосовой редактор доступен для редактирования аудио со звуковыми эффектами в бесплатной версии, а платная подписка за 6,50 евро в месяц пополняется функциями преобразования речи в текст и наоборот. Altered Studio стоит от 59 евро ежемесячно за преобразование речи, профессиональные и “общие” голоса, голосовые модели тембров и управление трансформацией голоса.
Podcastle AI
ИИ поможет вам сделать из обычного голосового сообщения запись студийного качества. Многодорожечная запись, преобразование аудио в текст и наоборот, наличие музыки без авторских отчислений, шумоподавление, создание собственного цифрового голоса, изолирование и улучшение голоса на записи — возможности нейронки однозначно вас порадуют.
Бесплатный тарифный план дает возможность без лимита по времени работать с аудио, но с ограничением по музыке и дополнительным эффектам. Минимальный тарифный план обойдется в $11,99.
Вывод
Вне зависимости от того, занимаетесь ли вы профессионально записью подкастов или просто хотите улучшить качество записи, нейросеть, улучшающая звук — удобное решение, чтобы сэкономить время и облегчить себе жизнь. Среди нашей подборки сервисов на базе ИИ вы можете найти именно тот, что подходит больше всего под ваши нужны и кошелек — везде доступны бесплатные версии для теста. Хорошего звука!
Как на iPhone записать звук студийного качества. Нейросети помогут
В закладки
В последнее время нейронные сети стали популярным явлением. Мы уже рассказывали, как с их помощью создать музыкальный плейлист или оживить старые фотографии. Даже в iOS есть встроенная фишка, которая работает при помощи нейросетей.
Сейчас расскажем, как при помощи подобных сервисов можно создать аудиозапись студийного качества прямо на смартфоне. Крутой внешний микрофон для этого, разумеется, не потребуется.
В этом нам поможет новый сервис от Adobe, который основан на нейронных сетях для улучшения качества звука.
Как записать звук студийного качества на iPhone
1. Запустите стандартное приложение Диктофон. Если вы удалили программу за ненадобностью, восстановите приложение из App Store.
2. Запишите все необходимое при помощи диктофона.
3. Нажмите на индикатор с тремя точками возле готовой записи и выберите пункт сохранить в Файлы.
4. Укажите папку для сохранения записи на устройстве.
5. В Safari перейдите на страницу веб-конвертера звуковых файлов.
6. Нажмите кнопку Выбрать файл и укажите сохраненную запись с диктофона.
7. Переконвертируйте запись в формат *.mp3 и сохраните на iPhone.
8. В Safari перейдите на сайт нового сервиса Adobe Podcast.
9. Создайте бесплатную учетную запись. Сделать это можно при помощи скрытого e-mail через iCloud (для тех, кто не хочет светить основную почту).
10. Загрузите *.mp3 на главной странице сервиса и дождитесь, пока нейронные сети улучшат качество звука.
11. Сохраните улучшенный файл аудиозаписи на смартфон.
На данный момент сервис работает в формате бета-тестирования, результат улучшения звука не всегда может быть хорошим При помощи нейронных сетей отлично получится повысить качество записи голоса, который был создан в тихом помещении.
Если записывать звук на улице или в слишком шумном месте, результат может быть не очень. Однако нейронные сети обучаются и через определенное время станут работать лучше.
В закладки
Видеоурок Теплицы: как улучшить диктофонную запись с помощью нейросети от Adobe Podcast
Adobe Podcast с функцией Enhance speech — очередной успешный пример использование обученной нейросети в той сфере, куда, казалось бы, искусственный интеллект должен был прийти в последнюю очередь: в сфере творчества.
Нейросеть от Adobe может улучшить запись с диктофона и независимо от того, на какое оборудование вы записывались и сколько было посторонних шумов в комнате, приблизить ее по звучанию к дикторской версии записанной в студии. Вам при этом ничего делать не нужно, нейросеть все сделает за вас
Как на iPhone записать звук студийного качества. Нейросети помогут
В закладки
В последнее время нейронные сети стали популярным явлением. Мы уже рассказывали, как с их помощью создать музыкальный плейлист или оживить старые фотографии. Даже в iOS есть встроенная фишка, которая работает при помощи нейросетей.
Сейчас расскажем, как при помощи подобных сервисов можно создать аудиозапись студийного качества прямо на смартфоне. Крутой внешний микрофон для этого, разумеется, не потребуется.
В этом нам поможет новый сервис от Adobe, который основан на нейронных сетях для улучшения качества звука.
Как записать звук студийного качества на iPhone
1. Запустите стандартное приложение Диктофон. Если вы удалили программу за ненадобностью, восстановите приложение из App Store.
2. Запишите все необходимое при помощи диктофона.
3. Нажмите на индикатор с тремя точками возле готовой записи и выберите пункт сохранить в Файлы.
4. Укажите папку для сохранения записи на устройстве.
5. В Safari перейдите на страницу веб-конвертера звуковых файлов.
6. Нажмите кнопку Выбрать файл и укажите сохраненную запись с диктофона.
7. Переконвертируйте запись в формат *.mp3 и сохраните на iPhone.
8. В Safari перейдите на сайт нового сервиса Adobe Podcast.
9. Создайте бесплатную учетную запись. Сделать это можно при помощи скрытого e-mail через iCloud (для тех, кто не хочет светить основную почту).
10. Загрузите *.mp3 на главной странице сервиса и дождитесь, пока нейронные сети улучшат качество звука.
11. Сохраните улучшенный файл аудиозаписи на смартфон.
На данный момент сервис работает в формате бета-тестирования, результат улучшения звука не всегда может быть хорошим При помощи нейронных сетей отлично получится повысить качество записи голоса, который был создан в тихом помещении.
Если записывать звук на улице или в слишком шумном месте, результат может быть не очень. Однако нейронные сети обучаются и через определенное время станут работать лучше.
В закладки