В видео заменила Анджелину Джоли на Алису Селезнёву с помощью банального roop. А скулы-то не спрячешь 🙃.

В последнее время обсуждаются (тут и тут) случаи использования дипфейков в мошеннических целях.

Вот некоторые последние события:
1. Использование фейковой видеоконференции. Имитировался рабочий созвон. Все участники, кроме жертвы, были ненастоящие.
2. Распространение фейкового порно с Тейлор Свифт в Твиттер.
3. Фейковые звонки в мессенджерах.
4. Использование для видеоидентификации в банковском приложении (позже выяснилось, что там использовалась комбинация с классическими методами обмана).

Страница содержит список статей о различных недавних дипфейк-инцидентах. Каждая статья содержит краткое описание инцидента, его последствий и способов борьбы с дипфейками.
Кроме того, каждые несколько дней на хабре появляется новая статья по этой проблеме.
➗Лично сталкиваюсь с чувством недоверия незнакомцу на другом конце видеоконференции. По отношению ко мне в обратную сторону такое тоже случалось.
➗Также меня беспокоит, что в сети достаточно моих изображений и видео, чтобы обчистить любой мой банковский счёт.

Конечно, для борьбы с дипфейками принимаются встречные шаги: проводятся соревнования, собираются бенчмарки, публикуются работы. Тем не менее, осознание, что где-то там герои невидимого фронта трудятся на благо Родины нубов, никак не поможет мне обезопасить себя при следующем видеосозвоне.

Какие я вижу решения, применимые к своей жизни? Если кратко, то защититься от фейков с помощью фейков.
1. Не переводить деньги незнакомцам.
2. Использовать синтетический голос \ модуляцию голоса + аватар или хотя бы маски во время видеосозвонов, чтобы препятствовать сбору данных о себе (маски и замена фона доступны в Zoom и Google Meets). Для модификации голоса нашла статью на английском с подборкой средств и браузерных расширений.
3. Отключить идентификацию по биометрическим данным в банковских приложениях.

С учётом развития технологии цифровых аватаров, было бы закономерно использовать для рабочих созвонов именно их потоковую генерацию, как думаете?
🔣🔣🔣
Задумываетесь ли вы об анонимизации при звонках? Пробовали ли вы уже менять голос или внешность?

Подключила GigaCode в качестве плагина к PyCharm. К сожалению, официальная инструкция по подключению не вполне соответствовала моему GUI, но всё равно это оказалось не сложно.
Попробовала его на двух задачах.
1️⃣ Создать классификатор на MNIST
➗GigaCode хорошо умеет дополнять строки, но иногда ошибается с константами и длинами списков
➗Благодушно пытался загрузить мне MNIST из gradio 😧 Но при первом же намёке исправился на torchvision.dataset 🫡
➗Сам сделал мне работающий классификатор, написал функцию обучения одного шага и корректный forward 👏
➗Допустил рекурсию в функции установке режима нейросети - train (bool) 👎

2️⃣Создать приложение gradio для гамма-коррекции
gr.Interface знает хорошо, детали вызова неизбежно приходится задавать самостоятельно.

Все такие системы по-прежнему требуют изначальных ожиданий о способе решения задачи. То есть в простых случаях человек уже может выступать не в роли автора, а в роли корректора.
В целом меня он, конечно, потряс. Надеюсь, поможет в будущих проектах!

Нередко, буквально спустя несколько минут после начала чтения очередной научной статьи, я начинаю сталкиваться с проблемой концентрации внимания. Я продолжаю смотреть на текст, двигать глазами, прокручивать страницу с pdf-кой, но самого процесса чтения как такового больше не происходит - мысли улетают куда-то в космос. Так уж устроен мозг - не любит он напрягаться. Но как же быть с этой проблемой?

Основной способ, который я использую для борьбы с улетанием мыслей куда-то не туда - постоянно вспоминать, с какой целью я начала читать статью, задавать себе вопросы, которые соответствуют приближению к этой цели, а потом искать в статье ответы на эти вопросы.

Примеры целей, к которым можно стремиться при чтении статьи:

1️⃣ Понять, можно ли применить вычислительный алгоритм, описанный в статье, в своей работе, как это сделать и нужно ли его для этого как-то модифицировать.
Вопросы, которые можно себе задавать в таком сценарии:
➡️ Что подается на вход алгоритма и что получается на выходе? Т.е. какие входные данные мне нужны, чтобы получить результат, как конкретно будет выглядеть этот результат? Вопросы выглядят как что-то простое и очевидное, но если постоянно отвлекаться, то даже такие простые вещи можно упустить из виду.
➡️ Какими экспериментами (и, возможно, теоретическими соображениями) авторы обосновывают то, что их алгоритм действительно делает то, что задумано? Верю ли я в то, что их эксперименты действительно доказывают их заявления?
➡️ Есть ли у представленных экспериментов какие-то нюансы, которые могут помешать перенести алгоритм из статьи на мой сценарий?
➡️ Сколько компьюта авторы затратили на свои эксперименты?
➡️ И т.д., и т.п.
Критерий успеха: вы поняли, нужно применять алгоритм или нет. Если да, то вы понимаете в общих чертах, как к этому приступить.

2️⃣ Разобраться, каково текущее состояние какой-то области или задачи (например, детекции искусственных текстов). Такая цель часто заявляется при чтении статей-обзоров. Однако, на самом деле это нельзя назвать целью в полном смысле, поскольку непонятно, каков будет критерий достижения. Так что лучше задать себе уточняющий вопрос: Как конкретно я хочу применить знания о состоянии области или задачи впоследствии?
Возможные варианты ответа:
🔡🔣Я хочу убедиться, что в этой области еще не реализовали новую идею, которая пришла мне в голову.
В этом случае можно задать вопросы:
➡️ Что сделали самого похожего на то, что я придумал(а)? Это в точности то же самое или есть отличия?
➡️ Можно ли из этого похожего извлечь информацию, полезную для реализации моей идеи?
➡️ Есть ли методы заведомо настолько лучше моего, что мой реализовывать нет смысла?
➡️ С какими методами из прочитанных в статьях я буду сравнивать свой метод?
Критерий успеха: вы поняли, реализовал ли кто-то идею или нет, есть ли в принципе смысл ее реализовывать и если да, то как.
🔡🔣Я хочу найти новую тему для исследования. В принципе, в этом случае можно устраивать мозговой штурм, навскидку придумывая всякие разные варианты, что вы можете сделать и проверять разумность этого как в предыдущем пункте.
🔡🔣Продвинулись ли люди в решении задачи в достаточной степени, чтобы я мог(ла) использовать их результаты в своей работе? В этом случае вопросы будут похожи на пункт 1, только с акцентом на целесообразности использования предложенных алгоритмов.
Критерий успеха: как в пункте 1.

3️⃣ Подготовить по статье доклад на семинаре. В этом случае можно задать себе следующие вопросы:
➡️ Кто будет присутствовать на семинаре? Какой у них бэкграунд? С какой целью они пришли слушать про эту статью, что хотят для себя вынести?
➡️ Исходя из ответа на предыдущий вопрос: какие конкретно аспекты статьи будут интересны слушателем с данным бэкграундом? В соответствии с этим, какие вопросы они будут задавать?
➡️ Далее можно задавать себе те вопросы, которые ожидаются от слушателей и искать в тексте ответы на них.
Критерий успеха: вы сделали доклад и слушатели семинара показали признаки понимания того, что им рассказали.

#учеба #наука

Конечно, существует и множество других причин, по которым можно читать статьи. Например:

4️⃣ Чтобы написать рецензию;
5️⃣ Чтобы понять, как авторы смогли догадаться до изобретения какого-то метода, каков был ход их мыслей (в этом случае вы, скорее всего, захотите посмотреть, на какую литературу они ссылаются и что самое важное выделяют в этой литературе);
и т.д., и т.п.

—

Впрочем, иногда, даже если я держу в голове, на какой конкретно вопрос я пытаюсь себе ответить в данный момент, внимание все равно рассеивается. Обычно это служит индикатором того, что я просто чего-то не понимаю. В этом случае, я задаю себе дополнительные вопросы:
➡️Чего именно я не понимаю?
➡️Что прочитать, чтобы начать понимать тот кусок, который я не понимаю?
Плюс кроме всего перечисленного, важным кажется поймать момент, когда более подробный разбор статьи уже не целесообразен, и пора перейти к другим делам.

А вы как читаете статьи, что считаете при этом важным и как боретесь с рассеянным вниманием?

#учеба #наука

Быстрей, компактней, Rust!
🔠🔠🔠🔠

Compressed GS for accelerating synthesis Project, Paper, Code
🔣Известный недостаток алгоритма Gaussian Splatting - большой объём памяти для описания сплатов.
🔣В статье предлагается модификация базового алгоритма, позволяющая сжать цветовое представление и параметры Гауссиан за счёт использования кодовых книг и Z-кривой.
➕Это позволяет в 30 уменьшить потребление памяти и в 4 раза ускорить рендеринг.
❓Использование языка RUST и WebGPU может быть как плюсом, так и минусом, в зависимости от ваших целей.

Если сумеете заставить его работать в вашем браузере, дайте знать!

🔣Главный объём в хранении гауссовых сплатов уходит на анизотропные коэффициенты поверхности, представленные сферическими гармониками и матрицой ковариации гауссиан.
Пайплайн сжатия состоит из трёх шагов:
1. Кластеризация на основе меры чувствительности. Для каждого параметра вычисляется вклад в обучающие изображения. Цвет и параметры Гауссиан кодируются в компактные codebooks путём векторной квантизации на основе чувствительности. Квантизация цвета и геометрических параметров Гауссиан происходит немного отличным друг от друга образом, но везде в основе лежит алгоритм k-средних.
2. Файнтьюнинг квантизованного представления.
3. Энтропийное и LRE-кодирование. 3D-Gaussian-ы закодированы вдоль Z-curve для сохранения пространственной связности параметров сцены.

🔣При рендеринге каждая гауссиана описывается двумя треугольниками. Вершинный шейдер вычисляет позиции вершин в экранном пространстве исходя из матрицы ковариации. Размер сплата выбирается для покрытия 99% процентов спроецированной Гауссианы. Вершинный шейдер передаёт цвета в пиксельный, а пиксельный уже выбрасывает пиксели вне интервала с 99% надёжности.
🔣Рендерер (репозиторий) написан на Rust с помощью графического API WebGPU, поэтому работает в браузере. Сравнение производилось на стандартном NeRF датасете на 13 реальных сценах.

Флаги для запуска рендера на WebGPU в гугл-хроме из консоли:

google-chrome-stable --enable-unsafe-webgpu --enable-features=Vulkan

После выхода SORA даже на видео-доказательства теперь нельзя полагаться. Возрастает потребность в новых подходах к информационной безопасности. Нужны камеры, которые не взломать, сертификаты на эти камеры. Нужны протоколы передачи от этих камер в центр обработки. Нужны средства поиска различий между реальным и сгенерированным.

Для решения проблемы подлинности контента была сформирована группа CAI, включающая медиа-компании, технологические платформы и неправительственные организации. Модель CAI использует хеширование криптографических активов для вставки идентифицируемых подписей в метаданные изображения, что позволяет проверить их подлинность. Если изображения, обработанные CAI, изменяются в цифровом виде помощью Photoshop или другого пакета редактирования, то система также записывает историю изменений.

Камера M11-P компании Leica создаёт изображения с уже зашифрованными метаданными. Пример проверки подлинности данных.

Другие компании также завершили тестирования своих камер с цифровой подписью.
🔣🔣🔣
Создание подобной отечественной системы потребовало бы полного технологического стека: камера - редактор контента - сертифицирующий центр. Можно было бы проверять подлинность фотографий на Госуслугах.🤔