Вы смотрели «Мир Дикого запада»?

Это сериал (изначально фильм) про парк развлечений, населенный андроидами. Там гости парка могли полностью погрузиться в атмосферу Дикого запада и почувствовать себя настоящими ковбоями.  Это было возможно благодаря высоким технологиям и развитому ИИ роботов парка.

Ничего похожего в реальной жизни (пока) нет, но есть ChatGPT и фантазия — а с их помощью вполне можно попасть хоть на Дикий запад, хоть в древний шумерский город Ур.

🔜 Как это сделать, рассказывает историк и преподаватель Бенджамин Брин. Заодно он показывает, что ИИ — не враг, который добьет гуманитарные науки, а удобный инструмент.

🔵 Он предлагает студентам с помощью нейросетей смоделировать реальные исторические ситуации. Например, разговор с Эа-Насиром — шумерским торговцем, вошедшим в историю, потому что ему была адресована самая древняя известная нам жалоба покупателя. Или же можно почувствовать себя аптекарем в Париже в разгар эпидемии чумы. В итоге получается что-то вроде текстового квеста.

🔵 Студентам надо не просто поговорить с нейросетью про качество меди Эа-Насира, но и проверить историческую достоверность ее ответов, а затем написать эссе по итогам этой работы. По словам Брина задания понравились даже самым невовлеченным студентам, вечно скучавшим на задних партах. Его впечатлила и креативность. Одни и те же ситуации развивались по-разному: в «чумном» сценарии кто-то изобрел лекарство, кто-то сбежал в леса, а кто-то возглавил крестьянское восстание. Были и неудачные случаи: один студент пожаловался, что в его «симуляции» появились говорящие крысы.

На фоне частых разговоров про то, как нейросети отнимают рабочие места и обесценивают людской труд, приятно видеть подобные небанальные способы использовать их во благо. Верим, что со временем таких кейсов станет только больше!

Полезное про данные и нейросети: что писали в сентябре
Мы часто делимся интересными лайфхаками, гайдами, инструментами и приложениями, которые пригодятся тем, кто работает с данными. Решили собрать недавные посты с полезностями в этом дайджесте для тех, кто пропустил или потерял ссылку!

🔵 Огромный гайд по SQL — пригодится в первую очередь новичкам, но и опытным специалистам будет что оттуда почерпнуть.
🔵 Не менее огромный гайд по обработке данных — статья рассказывает, как и зачем их упорядочивать, очищать и не наделать при этом ошибок.
🔵 LlamaIndex — фреймворк, который объединяет нейросети и ваши данные — причем, в любых форматах.

🔜 Бонус: почему мы не видим звезды в городах + карта мест, где вы все-таки сможете на них посмотреть. Не такой прикладной материал, как остальные в подборке, но важно иногда отрывать взгляд от ноутбука.

DALL·E 3 станет лучше рисовать руки, но это в ней не самое интересное
На сайте Open AI появился анонс новой версии DALL·E, которая станет доступна платным пользователям в октябре. Обещают, что качество изображений улучшится, а работать с ней станет проще. Больше не придется ломать голову над составлением правильных промптов — нейросеть станет лучше понимать запросы, написанные «обычным» языком. При этом DALL·E научится рисовать точно по заданию пользователя, не упуская никаких деталей.

Это стало возможно благодаря тому, что DALL·E 3 работает на ChatGPT, которая, как обещает Open AI, даже поможет писать промпты.

Внимание также привлекают новые ограничения перед DALL·E 3. Судя по всему, Open AI делает шаги к решению некоторых этических вопросов, связанных с нейросетями.

Что нового?
🔵 Как и предыдущие версии, DALL·E 3 откажется генерировать все, что связано с жесткостью, темами для взрослых и разжиганием ненависти.
🔵 Новая версия не будет рисовать публичных личностей. Помните, как завирусилась картинка с Папой Римским в модной куртке? DALL·E 3 в такую историю не попадет.
🔵 И наконец, она не будет копировать стили конкретных художников. Так Open AI отреагировала на частые жалобы, что нейросеть ворует работы художников.

Кроме того, Open AI работает над инструментом, который поможет идентифицировать изображения, сгенерированные DALL·E 3.

Выглядит интересно, так что ждем выхода, чтобы посмотреть, как это все будет работать на практике!

«Отличное заведение, жаль, что выгнали!»: что пишут в отзывах на общепит на Яндекс Картах
Пользователи Яндекс Карт ежедневно добавляют по 37 тысяч отзывов на кафе, бары и рестораны по всей стране. Всего за 10 лет накопилось уже больше 15 млн откликов на 220 тысяч различных заведений.

Команда сервиса взяла всю эту массу данных и уложила в несколько графиков, чтобы понять за что чаще всего хвалят и ругают рестораны и кафе. Если вы ресторатор, может быть ценно узнать, на что обращают внимание посетители. А если нет, то можно просто сделать несколько занятных выводов!

🔵 В положительных отзывах чаще всего упоминается слово «вкусно» и его производные, а в отрицательных — «невкусно». Логично.
🔵 Если посмотреть на самые частотные слова по категориям заведений (бары, кафе, столовые и так далее), получается, что несчастливые посетители общепита несчастны плюс-минус одинаково. Что рестораны, что фастфуды ругают за долгое ожидание. А вот хвалят по-разному: за кухню, атмосферу, скорость обслуживания и музыку.
🔵 Вопреки мнению, что люди чаще пишут о негативе, пользователи ставят плохие оценки в 5,5 раз реже, чем хорошие. Зато отрицательные отзывы в среднем длиннее. Самый объемный составил аж 13 тысяч знаков.
🔵 «Отстой» — любимая характеристика для общепита от мужчин постарше.

Отдельного внимания заслуживают скрины в начале статьи. Признайтесь, захотелось заглянуть в заведение, про которое кто-то написал: «Красиво. Бывают драки».

Обучение нейросетей — долгий и сложный процесс, требующий терпения и огромных массивов данных… или нет?
Ресурсоемкость — одна из больших проблем в работе с ИИ. Большое количество данных для обучения, множество итераций, огромные вычислительные мощности — принято считать, что все это необходимо для эффективной тренировки нейросетей.

🔵Сотрудники fast.ai — некоммерческой организации, исследующей ИИ, — обнаружили, что иногда нейросети достаточно одного-двух примеров данных, чтобы выявить закономерности и начать давать правильные ответы.

🔵Они готовили нейросеть для соревнования, где участники должны были ответить на сложные научные вопросы, созданные LLM (большой языковой моделью). Для обучения использовали созданный человеком сет из 200 вопросов. Во второй же итерации обнаружили резкое уменьшение числа ошибок, словно нейросети было достаточно пары примеров, чтобы выявить закономерности. Это видно и на графиках — резкое падение числа ошибок отмечает начало каждой новой итерации.

Обычно такой результат — ­следствие бага или переобучения, но не в этот раз
Команда проекта пришла к выводу, что нейросеть и правда смогла очень быстро обучиться, хотя fast.ai готовы рассмотреть альтернативные гипотезы.

🔜 Целиком читайте их исследование в блоге — особенно интересны выводы. Кажется, что быстрое обучение ИИ пойдет всем только на пользу и позволит сэкономить силы, время и деньги. Но долгое обучение = более предсказуемый результат, а слишком быстрый процесс рискует выйти из-под контроля. К тому же нейросетям для тренировки все еще нужно много данных, пусть и только на первых этапах.

P.S. А знаете, что еще не требует терпения или огромных массивов данных? Голосование за сторис LEFT JOIN по ссылке! Будем рады, если отдадите нам свой голос — обещаем не спамить и делиться только полезным.

Есть ли в 2023 спрос на аналитиков? Смотрим на hh.ru
Рома @revealthedata опубликовал статистику по вакансиям для аналитиков. Рынок выглядит как будто здорово: и объявлений стало больше, и зарплаты подросли, правда, не у всех.

🔵 Больше всего работодатели нуждаются в Data/Product-аналитиках — количество вакансий увеличилось на 66%.
🔵 Зарплаты сильнее выросли у бизнес-аналитиков — на 7%. Надо учесть, что данные с hh.ru, где три четверти работодателей не указывают уровень дохода.
🔵 Хорошие новости для молодых специалистов — предложений для младших аналитиков стало на 59% больше, зарплаты у них выросли на 10%, а у сеньоров — всего на 5%, кстати.

🔜 Дашборд с данными за три года — для тех, кто хочет покопаться поподробнее.

Какие выводы можно сделать?
Рынок растет, а спрос на специалистов разных уровней большой — кажется, если ищете работу в этой сфере, проблем быть не должно…
А если проблемы таки есть — завтра расскажу, в чем может быть дело.

Актуальная BI-стратегия за 20 часов
Столько длится курс с емким названием «Разработка BI-Cтратегии». Его ведет Александр Бараков, который больше 10 лет разрабатывает и внедряет BI-системы. Сейчас в Luxoft, а до этого — в Tinkoff Bank, Банке России, X5 Retail Group и не только.

🔵На курсе он отделяет зерна от плевел, а рабочие методики — от модных, но неэффективных, рассказывает про лучшие практики, полезные инструменты и кейсы из своего богатого опыта. Все это поможет участникам упорядочить свои знания и разработать не только BI-стратегию для своего бизнеса, но и план по ее внедрению и развитию.

Как пишут в отзывах: «Почти пошаговая инструкция, как внедрять BI».

🔵Будет полезно, главное, подготовиться, что программа насыщенная: 10 двухчасовых занятий с практическими заданиями три недели подряд — с 30 октября по 22 ноября. Надо заранее выделить время, чтобы погрузиться в учебу.

И да, содержание курса подробно описано на его странице, никаких котов в мешке! Сразу можете оценить, надо ли это вам. Знакомьтесь с программой и записывайтесь по ссылке.

Сентябрьский нейродайджест
Сентябрь выдался богатым на инфоповоды, связанные с ИИ. Были и громкие анонсы, и полезные инструменты, и просто баловство с мемами и эмодзи. Вспоминаем, что интересного мы писали про нейросети и искусственный интеллект.

🔵 В начале месяца все обсуждали HeyGen — нейросеть, которая перевела на английский и переозвучила мемы нулевых. Наконец-то весь мир может проникнуться речью идущего к реке и преисполниться в своем познании.
🔵 Когда не хватает слов, на помощь приходят эмодзи. Когда не хватает эмодзи из стандартного набора, можно нагенерировать своих с помощью EmojiGen.
🔵 LlamaIndex — отличный инструмент для тех, кто много работает с нейросетями и большим количеством данных в разных форматах. Помогает сильно упростить и ускорить работу.
🔵 Google представила ИИ-помощника Bard. Это пока только эксперимент, но он уже много чего умеет — как минимум заголовки к постам писать.
🔵 Stability AI выпустила Stable Audio — нейросеть для генерации музыки и звуковых эффектов. Ее обучали на библиотеке стоковых аудио, поэтому результаты ее работы можно спокойно использовать в коммерческих видео, не боясь проблем с авторскими правами.

Ставьте любимые реакции, если такие посты-дайджесты полезны, и мы будем публиковать их чаще! 🔥

Spotify переводит подкасты с помощью ИИ
Помните, недавно писали про нейросеть HeyGen, которая перевела на английский и переозвучила несколько классических мемов из нулевых?

🔵 Spotify хочет то же самое сделать со своими подкастами. Сервис использует ИИ, чтобы перевести и переозвучить речь участников, сохраняя их голоса и интонации. Пока новая функция доступна для ограниченного числа подкастов и языков: уже доступен испанский, скоро присоединятся французский и немецкий.

🔜 На сайте сервиса выложили видео, по которому можно оценить первые результаты. По-испански мы тут не говорим, поэтому не можем определить, насколько качественным получился сам перевод, но голоса действительно похожи. Тонкости работы ИИ Spotify не раскрывает, только указывает, что использовали технологии OpenAI.

🔵 И список шоу, и перечень языков планируют со временем расширять. И неудивительно: это способ охватить большую международную аудиторию без затрат на перевод и дубляж.

Интересно, начнут ли таким образом переозвучивать фильмы и сериалы? Может быть, через пару лет, когда будем смотреть сиквел «Барби», Марго Робби в нем будет говорить своим родным голосом.🔥

Пользователь интернета нажимает на кнопку «Принять все куки» в среднем 115 раз в день

Пруфов не будет — мы выдумали эту цифру. Но принимать куки и отказываться от уведомлений приходится так часто, что, возможно, мы недалеки от правды.

Если вы владелец iPhone или Mac, спасение есть — приложение Hush для браузера Safari.

🔵Hush скрывает надоедливые окошки, которыми сайты заваливают посетителей, и делает это быстро, бесплатно и не собирая данные о пользователе. Оно не принимает и не отказывается от куки за пользователя, а блокирует скрипты, выводящие уведомление на экран.
🔵Рекламу Hush не трогает — разработчик сказал, что не хочет лишать владельцев сайтов заработка.

Чтобы попасть в прекрасный интернет здорового человека без куков и навязчивых уведомлений, надо просто скачать небольшой файл с сайта разработчика или с GitHub.

А вы уже перешли на Polars?
Pandas долго была незаменимым инструментом для аналитиков и дата-сайентистов, но скорости работы ей не хватает, а памяти она требует достаточно. Даже выход Pandas 2.0 не смог решить эти проблемы, зато смогла Polars. Или нет?

Коротко про Polars
🔵 Это open source библиотека для обработки больших массивов данных на Python и Rust. Написана на Rust и основана на Apache Arrow.
🔵 Polars задействует все ядра компьютера для параллельных вычислений. Благодаря этому она более эффективно использует ресурсы компьютера, чем Pandas, и работает быстрее. На этом еще остановимся подробнее.
🔵 Два API: eager и lazy. Первый выполняет операции в том порядке, в котором они написаны в коде. Второй оптимизирует последовательность выполнения так, чтобы она была максимально эффективной и не перегруженной лишними вычислениями.

Polars вышла в 2020 году. За это время она успела завоевать популярность, но до сих пор не перестала попадать в статьи «топ новых инструментов для аналитиков». Создатель Polars хотел разработать инструмент, соответствующий современным требованиям и подходам к работе с данными. Библиотека писалась с нуля так, чтобы добиться максимальной производительности на одной машине.

🔵 Polars требует в разы меньше памяти, чем Pandas. Последней нужно, чтобы объем RAM был в 5-10 раз больше датасета, а первой — только в 2-4 раза.
🔵 Polars действительно «blazingly fast», как и обещает на сайте. Она быстрее Pandas и в сравнении с остальными подобными инструментами устойчиво держится в топе по скорости.
🔵 Субъективно, но есть мнение, что Polars достаточно похожа Pandas, чтобы перейти на нее было легко, но достаточно отличается, чтобы быть удобнее. Вот еще статья на русском, в которой можно посмотреть, как Polars выглядит на практике.

В общем, мы считаем, что Polars мировую любовь заслужила не зря. А что думаете вы? 👀

Нейросети не только улучшают работу и учебу, но и помогают тем, кому это гораздо нужнее
Недавно мы рассказывали про новые возможности ChatGPT, которая теперь умеет распознавать изображения. Эта функция нашла применение в приложении Be My Eyes — приложении для слабовидящих людей, которое помогает им справляться с трудностями в повседневной жизни.

Как оно работает?
Например, пользователь не может разобрать текст на уличной вывеске. Он фотографирует ее или снимает на видео, и этот материал попадет к волонтеру, который живет в том же часовом поясе и говорит на одном языке с отправителем. Он описывает, что видит на изображении, текстом или голосом — то есть на самом деле становится «глазами» для человека с плохим зрением (а в этом видео есть еще несколько примеров).

Теперь в приложение добавляют ИИ-помощника на ChatGPT 4. Пока только на iOS, на Android обновление доберется позже.
🔵 Be My Eyes AI будет делать то же, что и человек-волонтер. Пользователь фотографирует что-то, что вызывает у него вопросы, приложение распознает объекты на картинке и описывает их. Это не замена, а альтернатива связи с волонтером. Вариант для тех, кому нужен моментальный ответ или просто не хочется сейчас ни с кем общаться. Возможность попросить помощь человека при этом остается.
🔵 ИИ-помощник находится в стадии открытой беты. Разработчики предупреждают, что на первых этапах возможны проблемы, «галлюцинации» нейросети и неверные ответы.

🔜 Разговоры о ИИ часто уходят в обсуждение рисков, этических вопросов и мрачных прогнозов Элиезера Юдковского. И хотя это важные темы, мы считаем, что надо не забывать и позитивных сторонах использования нейросетей. Они уже стали частью нашей жизни и начали приносить ощутимую пользу множеству людей.

Данные 7 млн клиентов биотехнологической компании 23andme попали в интернет
23andme — компания из США, больше всего известная тем, что делает ДНК-тесты по образцам слюны. Клиент отправляет материал и получает полный генетический анализ о предрасположенности к заболеваниям и отчет о своем происхождении. То есть он сможет узнать на сколько процентов он итальянец, англичанин или китаец.

Теперь узнать это могут еще и посетители сомнительных сайтов в даркнете 👀
Несколько дней назад базы данных 23andme попали в сеть. Продают информацию о происхождении, фенотипе, состоянии здоровья и возможных родственниках.

Первыми под удар попали около 300 000 клиентов китайского происхождения и 1,3 млн — еврейского. Сейчас сообщают о том, что доступны данные 7 млн человек — это половина всех, кто пользовался услугами 23andme.

А что говорят представители компании?
1️⃣ С их стороны утечек не было.
2️⃣ Злоумышленники собрали информацию с помощью подстановки учетных данных и скрапинга. То есть взяли слитые логины и пароли с других сайтов, а они подошли к учеткам 23andme. Дальше через взломанные профили пользователей собирали информацию о членах семьи.
3️⃣ Не ставьте одинаковые пароли на разных сайтах и вообще меняйте их почаще.

The Record отмечает, что, зная ID клиента, можно открыть его профиль даже без учетных данных. Результатов генетических тестов там не будет, но будет фотография, дата рождения и место жительства.

Сколько точно аккаунтов взломали, пока неизвестно. Но если доступ к миллионам аккаунтов действительно получили через подбор паролей и скрапинг, то история получается поучительная и довольно мрачная. Даже не проникая глубоко в базу данных, хакер может собрать огромный массив очень важных данных. И все потому что главной уязвимостью любой системы, даже самой защищенной, остается человек.

ClickHouse Keeper: как ZooKeeper, только быстрее, выше, сильнее
Keeper — сервис координации данных на C++, который в ClickHouse разработали, когда им стало не хватать производительности ZooKeeper. Про особенности проекта и предпосылки для его создания они подробно рассказали в своем блоге. На самом деле подробно — с графиками, схемами и бенчмарками, не пресс-релиз на страничку.

Рекомендуем почитать, потому что материал крутой и наглядный. Для затравки расскажем несколько интересных фактов.
🔵 Keeper написан на C++ и использует RAFT, один из самых эффективных и надежных алгоритмов консенсуса.
🔵 ClickHouse преодолели ограничения ZooKeeper. Keeper дает гарантию линеаризуемости чтения и записи, требует в 46 раз меньше памяти для обработки такого же объема данных и не страдает от ошибок из-за ZXID.
🔵 Keeper можно использовать точно так же, как ZooKeeper, в том числе — отдельно от ClickHouse. Разработчики позаботились о том, чтобы переход на их сервис был безболезненным и простым.

Будем следить за проектом — ClickHouse планируют и дальше его развивать, увеличивать производительность и возможности для масштабирования. 🔥

5%, 5% — это много или мало?
В начале октября вышло большое обновление Python — версия 3.12.0.

🔜 Из нововведений больше всего обсуждали f-строки, которым добавили гибкости, и сообщения об ошибках: Python теперь не только указывает на опечатки, но и предлагает исправления. Также не забыли про поддержку подсистемы ядра perf на Linux, удаление устаревших модулей и усовершенствования синтаксиса.

🔜 В целом, за счет множества улучшений и оптимизаций производительность подросла на 5%.

Хотим пошутить что-нибудь про то, что Python сбросил кожу, но не будем этого делать. Вместо этого интересуемся вашим мнением о 3.12.0 — времени, чтобы оценить изменения, наверняка было достаточно!

Evidence — гибкий BI-инструмент на Markdown и SQL
Мы любим аналитику и уважаем open source, так не могли пройти мимо Evidence. Этот инструмент позволяет собирать наглядные отчеты и документы быстро и легко. Кстати, те, кто с нами давно, помнят, что мы уже рассказывали про него. Но с тех пор канал серьезно вырос, и мы решили, что повторить классную новость нам никто не запретит!

Коротко о главном
🔵 Evidence работает на Markdown и SQL и позволяет добавлять в документ графики, диаграммы, текстовые вставки, ссылки, навигацию и все остальное, что нужно для полной и наглядной подачи информации.

🔵 Evidence превращает документ с данными в статический сайт, который выглядит симпатично и аккуратно даже на разных платформах, а работает шустро. Не придется ждать, пока все графики построятся и загрузятся. Примеры есть на сайте проекта. Не шедевры датавиза, но со своими задачами справляются.

🔵 Инструмент бесплатный, как и размещение получившегося мини-сайта с данными на Evidence Cloud. Можно будет заплатить за премиум 500$ в месяц, чтобы получить дополнительные возможности. Впрочем, никто не мешает решать вопрос с хостингом самостоятельно.

Резюмируя: интересный вариант, особенно для небольших команд. Судя по подписи «Early Access» на странице с ценами, он еще в активной фазе разработки, но перспективы уже видны.

Беспилотные такси: за и против
Вряд ли какая-то новая технология может сравниться с ИИ по количеству споров, которые она вызывает в обществе. Чем глубже нейросети и искусственный интеллект проникают в повседневную жизнь, тем жарче дискуссия, чего от них больше — вреда или пользы.

Классный пример — статья на Bloomberg про беспилотные такси.

В августе California Public Utilities Commission разрешила двум компаниям, Waymo и Cruise, выпустить на улицы Сан-Франциско такси без водителей, под управлением ИИ. Мнения по этому поводу разделились.

🔵 Беспилотные такси в разы реже попадают в аварии, особенно с риском для здоровья людей, но у нас пока слишком мало данных, чтобы делать долгосрочные выводы. Они «накатали» недостаточно километров, чтобы их можно было адекватно сравнивать с водителями-людьми.
🔵 Распространение сервисов такси дало людям дешевую альтернативу покупке собственной машины. Робо-такси поддержат эту тенденцию, и все больше водителей начнут переквалифицироваться в пешеходов и пассажиров. Но это все равно не помогает уменьшить число автомобилей в городах и «ворует» трафик у автобусов и поездов. Некоторые политики используют это как повод урезать финансирование общественному транспорту.

🔜 Легко назвать противников ИИ луддитами, а сторонников обвинить в недальновидности. Сложнее прислушаться к противоположной точке зрения и попробовать найти в ней рациональное зерно. Возможно, эта статья поможет кому-нибудь посмотреть на тему беспилотных автомобилей с новой для себя стороны.

А вы за или против беспилотных такси в городе? Ставьте ⚡, если за, и 🙈, если против!