Data Science | Machinelearning [ru] – Telegram
Data Science | Machinelearning [ru]
20K subscribers
631 photos
39 videos
29 files
3.52K links
Все о Data Science, машинном обучении и искусственном интеллекте: от базовой теории до cutting-edge исследований и LLM.

По вопросам рекламы или разработки - @g_abashkin

РКН: https://vk.cc/cJPGXD
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
Объект среза как объект или встроенный метод slice
В Python списки по реализации похожи на векторы. А векторы это динамические массивы, то есть последовательности элементов. К этим элементам можно обращаться - получить первый, второй, пятый, десятый элемент. Положение в массиве - это индекс.
Но когда надо получить элементы с 1 по 3, или четные, или каждый третий - то одними индексами не обойтись. Поэтому в Python есть понятие - СРЕЗы.
This media is not supported in your browser
VIEW IN TELEGRAM
Google представила первый переводчик, который умеет работать с иероглифами. Инструмент обучается и работает лучше с каждым переводом.
Компания Google запустила переводчик иероглифов, использующий машинное обучение для расшифровки древнеегипетского языка. Эту функцию добавили в приложение Arts & Culture. Она также позволяет пользователям переводить свои слова и эмодзи в иероглифы. В Google отметили, что это первый инструмент, который с помощью машинного обучения умеет переводить и интерпретировать иероглифы. Он становится лучше по мере популярности среди пользователей.
This media is not supported in your browser
VIEW IN TELEGRAM
Россия стала лидером в сфере технологий и анализа данных

Согласно исследованию Global Skill Index проекта Coursera, Россия стала лидером в сфере технологий и анализа данных. Страна по этому показателю опережает США и Китай.
Из исследования образовательной платформы Coursera стало известно, что Россия признана самой высококвалифицированной страной в сфере технологий и анализа данных. Страна лидирует в области разработки программного обеспечения, статистического программирования, управления данными и операционными системами. Компетенции России в области технологий и анализа данных определяются исследованием как «передовые и конкурентоспособные».
This media is not supported in your browser
VIEW IN TELEGRAM
Аналитика данных: правильный подход

По мере своего развития аналитика данных становится все более востребованной. Опрошенные порталом InformationWeek эксперты рассказывают о том, каким образом нужно выстроить процессы, чтобы ваша организация могла применять эту критически важную технологию в бизнесе.
За последние несколько лет предприятия всех типов и размеров превратились в организации, управляемые данными, и теперь при помощи аналитики можно проанализировать клиентские и рыночные данные и практически мгновенно извлечь из них полезную информацию. Несмотря на то, что о ее преимуществах хорошо известно, некоторые организации настойчиво игнорируют ее, поскольку опасаются, что дорогостоящие запуск и поддержка аналитического проекта не принесут им потенциальной выгоды. В то же время технология анализа данных постоянно совершенствуется и становится более доступной, поэтому не исключено, что такие организации могут пересмотреть свое отношение к ней.
This media is not supported in your browser
VIEW IN TELEGRAM
слайсы/срезы
Синтаксис Python легкий, читаемый. Хочется упомянуть массивы (как структура с последовательными элементами). В Python они бывают разные - listtuple, строки Операции с массивами:
This media is not supported in your browser
VIEW IN TELEGRAM
Gartner: 10 основных тенденций в области данных и аналитики
https://www.gartner.com/en
Выявленные Gartner тенденции, возможно, позволят компаниям использовать данные и аналитику, чтобы успешно преодолеть финансовые и операционные трудности, вызванные COVID-19.
«Чтобы проложить новый путь в мир после COVID-19, руководителям подразделений данных и аналитики требуются непрерывно нарастающие в смысле быстроты обработки и доступа скорость и масштабы анализа, чтобы добиться успеха в условиях беспрецедентных рыночных сдвигов», — считает заслуженный вице-президент Gartner по исследованиям Рита Саллем.
Речь идет о следующих тенденциях.
This media is not supported in your browser
VIEW IN TELEGRAM
ПЕРЕСТАНОВКА И КОМБИНАЦИЯ В PYTHON
Python предоставляет прямые методы для поиска перестановок и комбинаций последовательности. Эти методы присутствуют в пакете itertools.
This media is not supported in your browser
VIEW IN TELEGRAM
Евросоюз начинает антимонопольное расследование о работе голосовых помощников, например, в Siri от Apple и Alexa от Amazon. Всего под дела попадают 400 компаний по всему миру. Регуляторы проверят, как ИТ-компании применяют пользовательские данные, собираемые голосовыми ассистентами, сообщает комиссар по вопросам конкуренции Маргрет Вестагер.
This media is not supported in your browser
VIEW IN TELEGRAM
Полезные библиотеки: RPC и nameko
Всем привычно, когда управление и данные внутри программы перемещаются на одной машине. Все хорошо и ясно (в какой-то мере), но что делать если данных становится много и возникает желание распределить вычисления?
Берем 2 компьютера, а дальше... А дальше нам надо как-то из программы на одном компьютере запустить метод на другом, да еще и данные перекинуть. Вот здесь на помощь и приходит RPC (Remote Procedure Call) вызов удалённых процедур.
This media is not supported in your browser
VIEW IN TELEGRAM
Новый инструмент IBM шифрует данные, пока устройства используются
Новый инструмент IBM шифрует данные, пока устройства используются. Он особенно подойдет для таких сфер, как финансы и здравоохранение.
IBM опубликовала набор инструментов, который упрощает гомоморфное шифрование (FHE) в приложениях для iOS и MacOS. Так хакеры не смогут разобраться в некоторых видах конфиденциальной информации, которую обычно необходимо расшифровать. Среди них могут быть финансовые или медицинские данные. Приложения также могут выборочно расшифровывать содержимое, поэтому пользователь может получить только те данные, которые он должен видеть.
Инструмент уже доступен на GitHub (iOS, macOS), а версии для Android и Linux появятся через «несколько недель». IBM предупредила, что эта версия «не идеальна и не окончательна», и что они не будут полезны для всех случаев. Однако они нужны в тех случаях, когда даже временная расшифровка может представлять риск для безопасности.
This media is not supported in your browser
VIEW IN TELEGRAM
Ученые из США представили чип, который может обеспечить большую вычислительную мощность для обучения ИИ.
Пока он стоит несколько миллионов долларов, но в будущем станет дешевле и позволит независимым командам заниматься сложным обучением моделей.
This media is not supported in your browser
VIEW IN TELEGRAM
Полезные библиотеки: freezegun - замораживаем время
В модуле datetime есть now() - метод, который возвращает текущее время. Применяется метод часто, например, создаем новую запись в базе данных - в лог пишем запись от текущего времени.
Вот только такой код оттестировать не всегда просто - иногда надо чтобы now() возвращал конкретное время. Для этого случая есть freezegun:
This media is not supported in your browser
VIEW IN TELEGRAM
Полезные инструменты: Chrome Logger

Ох, далеко не весь код "красив". Бывает такая лапша, что без бутылки не разобраться. Вот только вместо бутылки обычно используют отладчики, логгирование и прокручивание всего алгоритма/состояний в голове.
В веб проектах логгирование, а точнее говорят "отладка принтами" - популярный метод.
This media is not supported in your browser
VIEW IN TELEGRAM
Google создала новый бесплатный курс по Kotlin-разработке для новичков
Google запустила ещё один онлайн-курс для желающих научиться разрабатывать Android-приложения на Kotlin.
Бесплатный курс Android Basics in Kotlin рассчитан на тех, у кого нет абсолютно никакого опыта в программировании. Именно Kotlin компания называет главным языком разработки софта для своей мобильной платформы. Этот язык, по словам Google, уже используется 60% профессиональных Android-разработчиков, на нём написано 70% из первой тысячи самых популярных приложений Play Store.
Курс состоит из 5 модулей. Он включает пошаговые инструкции о том, как строить приложения в Android Studio и запускать их на устройствах, тесты для проверки полученных знаний в конце каждого модуля, а также практическую часть, которая предусматривает создание нескольких Android-проектов.
Пока доступен только 1 модуль, в дальнейшем компания обещает выложить остальные.
This media is not supported in your browser
VIEW IN TELEGRAM
enum, перечисления
Программист время от времени сталкивается с необходимостью ограничить множество допустимых значений для некоторого типа данных. Например, день недели это 7 различных значений, а месяцев у нас 12. Для удобного хранения подобных данных придуманы перечисления - enum.
Стандартная реализация enum появилась в Python начиная с версии 3.4 ( PEP 435. До этого ее легко заменяли словарями.
Реализация представлена модулем enum. Модуль содержит несколько классы EnumIntEnum (константы могут иметь только тип int) и декоратор unique, который проверяет ваш набор констант на дубликаты.
This media is not supported in your browser
VIEW IN TELEGRAM
Исследователи из США представили новый метод обучения ИИ, который ускорит процесс в 2-3 раза. В будущем такие процессоры могут использовать в сетях 5G.
Исследователи добились прорыва в обучении искусственного интеллекта (ИИ), используя свет вместо электричества. Новый метод значительно повышает как скорость, так и эффективность работы нейронных сетей — формы ИИ, целью которой является воспроизведение функций, выполняемых человеческим мозгом. Так машина обучает себя определенной задаче, не наблюдая за тем, как с этим справляется человек.
Нынешние методы машинного обучения ограничены в выполнении сложных операций — для них нужна огромная мощность. При этом чем сложнее задача, тем больше данных и, следовательно, энергопотребление. Такие сети также ограничены медленной передачей данных в устройствах.
Исследователи из Университета Джорджа Вашингтона в США обнаружили, что использование фотонов в нейронных процессорах поможет преодолеть эти ограничения и создать более мощный и энергоэффективный ИИ.
This media is not supported in your browser
VIEW IN TELEGRAM
yield from
Рассмотрим еще одну страшную конструкцию в Python: yield from
Напомню, генератор это объект который можно про итерировать только однажды. Записывается как:
This media is not supported in your browser
VIEW IN TELEGRAM
#Kotlin
Kotlin — это язык программирования общего назначения со статической типизацией, разработанный JetBrains, который создал интегрированные среды разработки мирового класса, такие как IntelliJ IDEA, PhpStorm, Appcode и т. Д. Он был впервые представлен JetBrains в 2011 году и стал новым языком для JVM. Kotlin является объектно-ориентированным языком и «лучшим языком», чем Java, но все же полностью совместим с кодом Java.

Kotlin спонсируется Google, объявленным в качестве одного из официальных языков для разработки Android в 2017 году.
This media is not supported in your browser
VIEW IN TELEGRAM
ИИ научился восстанавливать песню по музыкальному видео

Новая модель искусственного интеллекта (ИИ) умеет просматривать видео без звука, где музыкант играет песню на инструменте, и восстанавливать эту композицию. В будущем эта технология будет использовать движения тела для восстановления речи и других звуков.
This media is not supported in your browser
VIEW IN TELEGRAM
Go — это процедурный язык программирования.
#Go
Он был разработан в 2007 году Робертом Гриземером, Робом Пайком и Кеном Томпсоном в Google, но запущен в 2009 году как язык программирования с открытым исходным кодом. Программы собираются с использованием пакетов, для эффективного управления зависимостями. Этот язык также поддерживает шаблоны адаптации среды к динамическим языкам. Например, вывод типа (y: = 0 является допустимым объявлением переменной y типа float).
Начиная с программирования Go