А вы уже перешли на Polars?
Pandas долго была незаменимым инструментом для аналитиков и дата-сайентистов, но скорости работы ей не хватает, а памяти она требует достаточно. Даже выход Pandas 2.0 не смог решить эти проблемы, зато смогла Polars. Или нет?

Коротко про Polars
🔵 Это open source библиотека для обработки больших массивов данных на Python и Rust. Написана на Rust и основана на Apache Arrow.
🔵 Polars задействует все ядра компьютера для параллельных вычислений. Благодаря этому она более эффективно использует ресурсы компьютера, чем Pandas, и работает быстрее. На этом еще остановимся подробнее.
🔵 Два API: eager и lazy. Первый выполняет операции в том порядке, в котором они написаны в коде. Второй оптимизирует последовательность выполнения так, чтобы она была максимально эффективной и не перегруженной лишними вычислениями.

Polars вышла в 2020 году. За это время она успела завоевать популярность, но до сих пор не перестала попадать в статьи «топ новых инструментов для аналитиков». Создатель Polars хотел разработать инструмент, соответствующий современным требованиям и подходам к работе с данными. Библиотека писалась с нуля так, чтобы добиться максимальной производительности на одной машине.

🔵 Polars требует в разы меньше памяти, чем Pandas. Последней нужно, чтобы объем RAM был в 5-10 раз больше датасета, а первой — только в 2-4 раза.
🔵 Polars действительно «blazingly fast», как и обещает на сайте. Она быстрее Pandas и в сравнении с остальными подобными инструментами устойчиво держится в топе по скорости.
🔵 Субъективно, но есть мнение, что Polars достаточно похожа Pandas, чтобы перейти на нее было легко, но достаточно отличается, чтобы быть удобнее. Вот еще статья на русском, в которой можно посмотреть, как Polars выглядит на практике.

В общем, мы считаем, что Polars мировую любовь заслужила не зря. А что думаете вы? 👀

Нейросети не только улучшают работу и учебу, но и помогают тем, кому это гораздо нужнее
Недавно мы рассказывали про новые возможности ChatGPT, которая теперь умеет распознавать изображения. Эта функция нашла применение в приложении Be My Eyes — приложении для слабовидящих людей, которое помогает им справляться с трудностями в повседневной жизни.

Как оно работает?
Например, пользователь не может разобрать текст на уличной вывеске. Он фотографирует ее или снимает на видео, и этот материал попадет к волонтеру, который живет в том же часовом поясе и говорит на одном языке с отправителем. Он описывает, что видит на изображении, текстом или голосом — то есть на самом деле становится «глазами» для человека с плохим зрением (а в этом видео есть еще несколько примеров).

Теперь в приложение добавляют ИИ-помощника на ChatGPT 4. Пока только на iOS, на Android обновление доберется позже.
🔵 Be My Eyes AI будет делать то же, что и человек-волонтер. Пользователь фотографирует что-то, что вызывает у него вопросы, приложение распознает объекты на картинке и описывает их. Это не замена, а альтернатива связи с волонтером. Вариант для тех, кому нужен моментальный ответ или просто не хочется сейчас ни с кем общаться. Возможность попросить помощь человека при этом остается.
🔵 ИИ-помощник находится в стадии открытой беты. Разработчики предупреждают, что на первых этапах возможны проблемы, «галлюцинации» нейросети и неверные ответы.

🔜 Разговоры о ИИ часто уходят в обсуждение рисков, этических вопросов и мрачных прогнозов Элиезера Юдковского. И хотя это важные темы, мы считаем, что надо не забывать и позитивных сторонах использования нейросетей. Они уже стали частью нашей жизни и начали приносить ощутимую пользу множеству людей.

Данные 7 млн клиентов биотехнологической компании 23andme попали в интернет
23andme — компания из США, больше всего известная тем, что делает ДНК-тесты по образцам слюны. Клиент отправляет материал и получает полный генетический анализ о предрасположенности к заболеваниям и отчет о своем происхождении. То есть он сможет узнать на сколько процентов он итальянец, англичанин или китаец.

Теперь узнать это могут еще и посетители сомнительных сайтов в даркнете 👀
Несколько дней назад базы данных 23andme попали в сеть. Продают информацию о происхождении, фенотипе, состоянии здоровья и возможных родственниках.

Первыми под удар попали около 300 000 клиентов китайского происхождения и 1,3 млн — еврейского. Сейчас сообщают о том, что доступны данные 7 млн человек — это половина всех, кто пользовался услугами 23andme.

А что говорят представители компании?
1️⃣ С их стороны утечек не было.
2️⃣ Злоумышленники собрали информацию с помощью подстановки учетных данных и скрапинга. То есть взяли слитые логины и пароли с других сайтов, а они подошли к учеткам 23andme. Дальше через взломанные профили пользователей собирали информацию о членах семьи.
3️⃣ Не ставьте одинаковые пароли на разных сайтах и вообще меняйте их почаще.

The Record отмечает, что, зная ID клиента, можно открыть его профиль даже без учетных данных. Результатов генетических тестов там не будет, но будет фотография, дата рождения и место жительства.

Сколько точно аккаунтов взломали, пока неизвестно. Но если доступ к миллионам аккаунтов действительно получили через подбор паролей и скрапинг, то история получается поучительная и довольно мрачная. Даже не проникая глубоко в базу данных, хакер может собрать огромный массив очень важных данных. И все потому что главной уязвимостью любой системы, даже самой защищенной, остается человек.

ClickHouse Keeper: как ZooKeeper, только быстрее, выше, сильнее
Keeper — сервис координации данных на C++, который в ClickHouse разработали, когда им стало не хватать производительности ZooKeeper. Про особенности проекта и предпосылки для его создания они подробно рассказали в своем блоге. На самом деле подробно — с графиками, схемами и бенчмарками, не пресс-релиз на страничку.

Рекомендуем почитать, потому что материал крутой и наглядный. Для затравки расскажем несколько интересных фактов.
🔵 Keeper написан на C++ и использует RAFT, один из самых эффективных и надежных алгоритмов консенсуса.
🔵 ClickHouse преодолели ограничения ZooKeeper. Keeper дает гарантию линеаризуемости чтения и записи, требует в 46 раз меньше памяти для обработки такого же объема данных и не страдает от ошибок из-за ZXID.
🔵 Keeper можно использовать точно так же, как ZooKeeper, в том числе — отдельно от ClickHouse. Разработчики позаботились о том, чтобы переход на их сервис был безболезненным и простым.

Будем следить за проектом — ClickHouse планируют и дальше его развивать, увеличивать производительность и возможности для масштабирования. 🔥

5%, 5% — это много или мало?
В начале октября вышло большое обновление Python — версия 3.12.0.

🔜 Из нововведений больше всего обсуждали f-строки, которым добавили гибкости, и сообщения об ошибках: Python теперь не только указывает на опечатки, но и предлагает исправления. Также не забыли про поддержку подсистемы ядра perf на Linux, удаление устаревших модулей и усовершенствования синтаксиса.

🔜 В целом, за счет множества улучшений и оптимизаций производительность подросла на 5%.

Хотим пошутить что-нибудь про то, что Python сбросил кожу, но не будем этого делать. Вместо этого интересуемся вашим мнением о 3.12.0 — времени, чтобы оценить изменения, наверняка было достаточно!

Evidence — гибкий BI-инструмент на Markdown и SQL
Мы любим аналитику и уважаем open source, так не могли пройти мимо Evidence. Этот инструмент позволяет собирать наглядные отчеты и документы быстро и легко. Кстати, те, кто с нами давно, помнят, что мы уже рассказывали про него. Но с тех пор канал серьезно вырос, и мы решили, что повторить классную новость нам никто не запретит!

Коротко о главном
🔵 Evidence работает на Markdown и SQL и позволяет добавлять в документ графики, диаграммы, текстовые вставки, ссылки, навигацию и все остальное, что нужно для полной и наглядной подачи информации.

🔵 Evidence превращает документ с данными в статический сайт, который выглядит симпатично и аккуратно даже на разных платформах, а работает шустро. Не придется ждать, пока все графики построятся и загрузятся. Примеры есть на сайте проекта. Не шедевры датавиза, но со своими задачами справляются.

🔵 Инструмент бесплатный, как и размещение получившегося мини-сайта с данными на Evidence Cloud. Можно будет заплатить за премиум 500$ в месяц, чтобы получить дополнительные возможности. Впрочем, никто не мешает решать вопрос с хостингом самостоятельно.

Резюмируя: интересный вариант, особенно для небольших команд. Судя по подписи «Early Access» на странице с ценами, он еще в активной фазе разработки, но перспективы уже видны.

Беспилотные такси: за и против
Вряд ли какая-то новая технология может сравниться с ИИ по количеству споров, которые она вызывает в обществе. Чем глубже нейросети и искусственный интеллект проникают в повседневную жизнь, тем жарче дискуссия, чего от них больше — вреда или пользы.

Классный пример — статья на Bloomberg про беспилотные такси.

В августе California Public Utilities Commission разрешила двум компаниям, Waymo и Cruise, выпустить на улицы Сан-Франциско такси без водителей, под управлением ИИ. Мнения по этому поводу разделились.

🔵 Беспилотные такси в разы реже попадают в аварии, особенно с риском для здоровья людей, но у нас пока слишком мало данных, чтобы делать долгосрочные выводы. Они «накатали» недостаточно километров, чтобы их можно было адекватно сравнивать с водителями-людьми.
🔵 Распространение сервисов такси дало людям дешевую альтернативу покупке собственной машины. Робо-такси поддержат эту тенденцию, и все больше водителей начнут переквалифицироваться в пешеходов и пассажиров. Но это все равно не помогает уменьшить число автомобилей в городах и «ворует» трафик у автобусов и поездов. Некоторые политики используют это как повод урезать финансирование общественному транспорту.

🔜 Легко назвать противников ИИ луддитами, а сторонников обвинить в недальновидности. Сложнее прислушаться к противоположной точке зрения и попробовать найти в ней рациональное зерно. Возможно, эта статья поможет кому-нибудь посмотреть на тему беспилотных автомобилей с новой для себя стороны.

А вы за или против беспилотных такси в городе? Ставьте ⚡, если за, и 🙈, если против!

От перевозки кокаина до выслеживания террористов: история Хэнка Ашера
Почти все о нас можно найти в интернете: что-то проще, что-то сложнее, что-то только за деньги и нелегально, но так или иначе сохранить конфиденциальность сегодня практически невозможно.

Еще недавно это было совсем не так
New York Times выложили материал о Хэнке Ашере, которого называют отцом data fusion. Хэнк был человеком предприимчивым. Какое-то время он горячо увлекался перевозкой кокаина из Южной Америки в Северную, но решил завязать и даже смог избежать наказания, благодаря сотрудничеству с органами правопорядка США.

🔵 В 1986 году он купил свой первый компьютер, Toshiba T1100, вскоре научился программированию и начал браться за коммерческие заказы. Одним из них стало создание базы данных автовладельцев.

🔵 Сейчас кажется очевидным, что страховые компании собирают всю доступную информацию о клиентах: пол, возраст, доход, состав семьи и так далее. Но в 80-х в США страховщики смотрели в основном на историю вождения, количество аварий и штрафов. Ашер был одним из тех, кто смог объединить несколько открытых баз данных так, чтобы компания могла узнать о человеке все, что ей может понадобится, и просчитать риски.

🔵 После этого он основал несколько фирм, собирающих данные о людях и предприятиях, и заработал не только огромные деньги, но и влияние. В начале нулевых он даже принял участие в поиске пилотов, обрушивших башни-близнецы, и в создании Matrix — спорного проекта по обнаружению террористов.

🔜 Хэнк Ашер умер 10 лет назад, но результаты его работы все еще живы. Автор статьи в New York Times назвал его «призраком в наших компьютерах». Ашер — один из создателей того мира, в котором мы живем сейчас, со всеми его плюсами, минусами и следящими за нами алгоритмами.

Кстати, узнали, чьи атрибуты на иллюстрации? Подсказка: это вымышленный изобретатель ИИ, способного предсказывать преступления в городе.
Ставьте 👀, если поняли отсылочку!

Bing и DALL-E 3 превратят вашего питомца в звезду фильма Pixar
В начале октября в Bing добавили DALL-E 3, и через месяц пользователи нашли нейросети действительно достойное применение. Они генерируют «постеры фильмов Pixar» со своими животными!

Уже появились инструкции, как присоединиться к тренду и правильно написать промпт:

1️⃣ Стандартная формулировка начинается с «A Disney Pixar inspired movie poster with the noscript «Название фильма» (например, кличка животного)».

2️⃣ Описывать животных надо подробно, с указанием внешности, породы, цвета шерсти и глаз и даже выражения морды. Можно добавить пожелания к фону.

3️⃣ В конце промпта рекомендуют еще раз напомнить про стиль Pixar: «The image should be set in the distinct digital art style of Pixar, with a focus on character expressions, vibrant colors, and detailed textures that are characteristic of their animation».
Хотя иногда это уточнение может приводить к странным результатам, так что предлагаем погенерировать картинки с ним и без него.

4️⃣ Не получилось с первого раза — продолжайте пробовать, можно даже с тем же промптом. Количество попыток не ограничено, но после 15-й придется 5 минут подождать. Если все равно получается что-то странное, поправьте промпт.

В России DALL-E 3 в Bing, пока недоступна, но если для вас это не проблема, то попробуйте сгенерировать такой постер и скрасить понедельник. Ну, или посмотрите, что получается у пользователей в запрещенной соцсети: шотландский терьер Мия, такса Скай и кавапу (да, такая порода тоже есть) Поппи. Даже жалко, что постеры ненастоящие!

🔜 Кстати, герой сегодняшней обложки нового фильма Pixar — пес редактора канала @leftjoin!

«Чтобы стать крутым специалистом по LLM, сначала нужно стать крутым пользователем этих моделей»
Именно так считает Джереми Говард, один из основателей fast.ai, и у нас нет оснований ему не верить. Джереми выложил на Youtube 1,5-часовой гайд по работе с LLM, который мы рекомендуем тем, кто хочет глубоко разобраться в работе языковых моделей.

О чем рассказывают в гайде?
🔵 Демонстрируют возможности и ограничения LLM максимально наглядно. Почему ChatGPT не может решить известную и простую загадку про козла, волка и капусту, если совсем немного изменить условия?
🔵 Дают практические советы по использованию Open AI API, разворачиванию LLM локально на своем компьютере, обучению и тестированию. Джереми рассматривает разные варианты использования LLM и рассказывает, как лучше организовать работу.
🔵 Приводят примеры прикладного использования LLM для разных целей.

Важно: видео не для всех и точно не для зеленых новичков. В нем много технических тонкостей, погружения в архитектуру LLM и кода, еще и на английском. Специалистом быть не надо, но надо разбираться хотя бы в основах.
А в идеале — пройти курс Practical Deep Learning на fast.ai. Он, кстати, бесплатный!

«Крутейшая штука на свете!» — Стив Джобс про сводные таблицы
Сейчас реклама Apple показывает продукты компании как стильные и модные девайсы для стильных и модных людей. На заре ее существования все было иначе: фишкой эппловских новинок были не челки на ультратонких смартфонах, а софт для создания табличек.

Вот времена были, да?
🔵 1985 год был для Стива Джобса неудачным: после успешного старта продажи Macintosh начали падать, из Apple ушли несколько ключевых сотрудников, а среди топ-менеджмента началась борьба за власть. В конце концов, Джобс и сам покинул компанию и основал новую — NeXT, где продолжил разрабатывать персональные компьютеры.

🔵 Успех модели Apple II в 1977 году Джобс приписывал не в последнюю очередь программе для создания таблиц VisiCalc. В NeXT он решил также сделать ставку на сильный софт, который привлек бы внимание покупателей.

🔵 Он вышел на компанию Lotus и разработчика Пито Саласа, представивших ему программу для создания таблиц нового вида. Их называли flexible views, потому что они и правда позволяли гибко сортировать и оценивать данные в несколько кликов, не мучаясь со сложными формулами.

Это были, конечно, сводные таблицы, но такое название они получат позже
🔵 Реакция Джобса — в заголовке. Он уговорил Lotus продать этот софт ему для установки на его NeXT Computer, продажи провалились, но сводные таблицы все равно вошли в нашу жизнь.

🔜 Подробнее про всю эту историю рассказывает статья на qz.com.

Рекомендуем почитать, а потом поставить на пост эмодзи, которые лучше всего описывают вашу реакцию на то, что сводные таблицы популяризовал именно Стив Джобс. Мы вот не ожидали, что он был к этому причастен.

Найди себя в числе пи
Ладно, не себя, а только свою дату рождения.

Пи — число иррациональное, а значит, бесконечное. Если искать достаточно долго, то в ряду знаков после запятой можно найти любые сочетания цифр. В том числе, любые даты.

🔜 Попробуйте сами
Введите свою дату рождения и увидите, как «далеко» в хвосте пи она находится. Сайт работает с любыми форматами записи, правда, с годами читерит: он учитывает только последние две цифры.

То есть, чей-то дедушка, родившийся 26 августа 1928, и Иоганн Ламберт, родившийся 26 августа 1728 и доказавший иррациональность числа пи, окажутся на одном месте — на 2 185 268-ом.

Поиск своего дня рождения (или любой другой даты) в числе пи — не только развлечение, но и возможность прикоснуться к бесконечности. Если нахлынут философские мысли, их особенно приятно думать под вот это видео на Реддите, которое показывает иррациональность пи графически, еще и под классическую музыку. В комментариях уже успели объяснить, что на нем происходит.

Сторителлинг против сторифайндинга
Если послушать авторов многочисленных статей и курсов, то «сторителлинг» — это какое-то волшебство, которое все делает лучше, от сторис в запрещенных соцсетях до годовых отчетов отделов продаж. Всем обязательно надо ему учиться и применять.

В целом, это штука действительно полезная, но мы решили порассуждать, что такое сторителлинг применительно к данным и какие есть альтернативы у него есть.

🔵 Дата-сторителлинг — это способ подачи информации, который облегчает восприятие сложных данных. «Стори» здесь не сюжет с героями, а цельная трактовка информации, которая складывается у читателя в голове. Этот подход превращает цифры и отчеты в инструмент для того, чтобы подкрепить слова автора.

🔜 Пример на иллюстрации
Один и тот же график трактуется по-разному в зависимости от расставленных акцентов. Можно сказать о положительной динамике показателя, а можно — о том, что несмотря на рост, он все еще не дотягивает до целевых значений. И то, и другое верно, но применимо в разных контекстах.

График, кстати, взяли отсюда. Статья разбирает подробно, что такое дата-сторителлинг и зачем он нужен.

🔵 Сторифайндинг — это другой подход, который помогает не автору донести свои мысли, а читателю — сделать собственные выводы. Может показаться, что он «честнее» и потому предпочтительнее, но мы так не думаем.

На первом месте всегда должна стоять цель — зачем и для кого вы собираете и визуализируете данные? Готов ли ваш читатель заниматься «исследованием» и «сторифайндингом»? Иногда вывалить на него гору графиков — это намного менее честно, чем «причесать» данные и дополнить комментариями.

👀 Разницу между двумя подходами проиллюстрировал автор другой статьи еще и на интересном примере — мировом уровне счастья. В конце заметки — интерактивный график, можно потыкать в переключатели и сравнить разные способы отображения данных.

Интересно, как датавиз будет развиваться дальше и какая новая мода придет на смену сторителлингу — что-то совершенно новое или вспомним какое-нибудь забытое старое?

Разыгрываем 10 Premium-подписок в Telegram!

Подписчики @leftjoin — наша большая гордость и мотивация, поэтому мы не могли проигнорировать последнее обновление Telegram и сегодня запускаем розыгрыш 10 премиум подписок для вас ❤️

P.S. Результаты будут в субботу, так что учавствуйте — для этого нужно лишь нажать на кнопочку ниже!

Что интересного было на DevDay от OpenAI
OpenAI провела первую конференцию для разработчиков — DevDay.

Рассказываем, что там было!
🔵 GPT-4 Turbo — не только больше и умнее GPT-4, но и дешевле. Модели добавили JSON-mode, расширили контекст до 128 тысяч токенов и научили параллельному вызову функций. И картинки она тоже распознавать умеет.
🔵 Assistants API — инструмент, который облегчит разработку ИИ-ассистентов, заточенных под определенные функции. Функции при этом могут быть разными — общение с пользователем на естественном языке, написание и дебаггинг кода, поиск информации в интернете или в базе данных и так далее.  API находится в стадии бета-тестирования и уже доступен для разработчиков.
🔵 Разработчики также могут интегрировать в свои продукты DALL·E 3 и Text-to-speech с 6 голосами на выбор.
🔵 GPTs — кастомизированные версии GPT, которые пользователи смогут адаптировать под себя без кода, файнтюнинга и сложных промптов. Хотим на этом проекте остановиться поподробнее.

Чему можно научить модель таким образом?
Точно сказать сложно, но судя по тому, что пишут в блоге OpenAI — чему угодно. Хоть правила настолок объяснять, хоть помогать вести переговоры.

💬 Кастомизированные GPT смогут взаимодействовать с внешним миром — искать информацию в интернете, подключаться к базам данных или сторонним приложениям через API.
💬 Создатели GPTs смогут выложить их в открытый доступ. Позднее в ноябре OpenAI запустят GPT Store с поиском, рейтингом лучших моделей и даже выплатами для создателей.
💬 В OpenAI ждут, что из чатботов такие модели вырастут до настоящих ИИ-ассистентов, умеющих выполнять реальные рабочие задачи. Это станет возможно как раз благодаря коммьюнити создателей моделей и и х пользователей. Именно они определят, как будет развиваться ИИ.

Что ж, звучит интригующе. Посмотрим, что из этого выйдет!

Как думаете, когда GPT Store запустят, какие пользовательские модели окажутся в топах?

Как наладить обмен данными между несколькими сервисами без API
И стоит ли это делать?

Fly.io — платформа с серверами в 30+ регионах. Создатели обещают, что на их железе вы сможете запустить свое приложение на любом из континентов, кроме Антарктиды (но это вопрос времени, если верить сайту), и везде оно будет работать одинаково быстро.

Чтобы приложения летали еще шустрее, в Fly разработали LiteFS — распределенную файловую систему, заточенную под работу с базами данных SQLite. В процессе тестирования они обнаружили, что с ее помощью можно наладить обмен информацией между приложениями без API.

Угадаете как? Просто отправляя read only-копии базы данных.

🔵Идею объясняют на примере программы Corrosion, с помощью которой в Fly следят за состоянием серверов. Свои отчеты она хранит в SQLite.

🔵Когда Corrosion запустили на LiteFS, обнаружили, что теперь могут легко перекидывать данные из нее другим внутренним сервисам компании без API. Достаточно отправить копию базы, а получатель уже извлечет из нее все, что ему нужно, SQL-запросами.

🔵Авторы рассказывают об этом методе, как об отличном способе сэкономить время разработчиков. Строить API несколько дольше и сложнее, чем перекидывать данные между сервисами напрямую.

👀 Правда, неясно, можно ли широко использовать такой подход. Возможно, это хорошее внутреннее решение для небольшой команды. Но будет ли оно работать так же эффективно с большими объемами данных или числом получателей? Не уверены, поэтому спрашиваем у вас.

Что думаете про такой подход? ❤️ — если за и хотели бы попробовать, 🙈 — если это не для вас.