Python коллекция полезных готовых скриптов
Сборник Python-скриптов для решения и задач автоматизации и упрощения рутинной работы.
Перейти по ссылке...
Сборник Python-скриптов для решения и задач автоматизации и упрощения рутинной работы.
Перейти по ссылке...
Значительно снизить расходы на приобретение нового оборудования и справиться с дефицитом IT-инфраструктуры помогут облачные сервисы. Ваши данные будут надежно защищены в отказоустойчивом ЦОД TIER III в Москве.
☁️Облако за 990 руб. в месяц! Держим цены 2021 года - убедитесь сами с помощью калькулятора.
Мы предлагаем облачные сервисы для бизнеса:
• корпоративная почта,
• 1С в облаке,
• хранение и резервное копирование данных,
• платформа для совместной работы с документами,
• информационная безопасность,
• вычислительные ресурсы по моделям IaaS/PaaS.
Оформите бесплатный тестовый доступ на нашем сайте.
Приглашаем к сотрудничеству в рамках партнерской программы.
📞 Тел: +7(495)789 4135
🌏 Сайт: https://nubes.ru/
☁️Облако за 990 руб. в месяц! Держим цены 2021 года - убедитесь сами с помощью калькулятора.
Мы предлагаем облачные сервисы для бизнеса:
• корпоративная почта,
• 1С в облаке,
• хранение и резервное копирование данных,
• платформа для совместной работы с документами,
• информационная безопасность,
• вычислительные ресурсы по моделям IaaS/PaaS.
Оформите бесплатный тестовый доступ на нашем сайте.
Приглашаем к сотрудничеству в рамках партнерской программы.
📞 Тел: +7(495)789 4135
🌏 Сайт: https://nubes.ru/
Подборка книг по Data Sciense
👉 Практическая статистика для специалистов Data Science
Авторы: Питер Брюс, Эндрю Брюс
Описание: как: В книге рассказывается о таких штуках как: разведочный анализ данных, статистические эксперименты, проверка значимости, регрессия, классификация, машинное обучение. Но для прочтения вам понадобятся знания математической статистики и языка R.
👉 Data Science
Авторы: Кэти О’Нил, Рэйчел Шатт
Описание: Книга основана на курсе Колумбийского университета по анализу данных. В процессе обучения вы узнаете о байесовском методе, визуализации данных, статистических алгоритмах, рекомендательных движках, MapReduce и финансовом моделировании.
👉 Теоретический минимум по Big Data
Авторы: Анналин Ын, Кеннет Су
Описание: Издание не ориентировано только на профессионалов, заняться образованием могут начать аналитики, бизнесмены, программисты и непрофильные специалисты. На страницах этого труда рассматривается масса алгоритмов, каждому из которых посвящена отдельная глава, с картинками и примерами из реальных задач.
👉 Основы Data Science и Big Data
Авторы: Дэви Силен, Арно Мейсман, Мохамед Али
Описание: Изучение DS вы начнете с базовых вещей, а потом приступите к алгоритмам машинного обучения, массивам данных, NoSQL и т. д. В качестве языка программирования в этой книге используется Python со специальными библиотеками.
👉 Principles of Strategic Data Science
Авторы: Peter Prevos
Описание: Книга начинается с объяснения того, что такое наука о данных и как организации могут ее использовать для оптимизации всех рабочих процессов. Затем автор приводит критерии надежности информационных продуктов и способы визуализации информации. В процессе изучения пятиэтапной структуры вы будете открывать для себя стратегические аспекты DS, которые позволяют повысить ценность извлекаемых данных. В заключительной главе рассматривается роль штатного аналитика данных в процессе интеграции DS-подхода в бизнес-процессы организации.
👉 Практическая статистика для специалистов Data Science
Авторы: Питер Брюс, Эндрю Брюс
Описание: как: В книге рассказывается о таких штуках как: разведочный анализ данных, статистические эксперименты, проверка значимости, регрессия, классификация, машинное обучение. Но для прочтения вам понадобятся знания математической статистики и языка R.
👉 Data Science
Авторы: Кэти О’Нил, Рэйчел Шатт
Описание: Книга основана на курсе Колумбийского университета по анализу данных. В процессе обучения вы узнаете о байесовском методе, визуализации данных, статистических алгоритмах, рекомендательных движках, MapReduce и финансовом моделировании.
👉 Теоретический минимум по Big Data
Авторы: Анналин Ын, Кеннет Су
Описание: Издание не ориентировано только на профессионалов, заняться образованием могут начать аналитики, бизнесмены, программисты и непрофильные специалисты. На страницах этого труда рассматривается масса алгоритмов, каждому из которых посвящена отдельная глава, с картинками и примерами из реальных задач.
👉 Основы Data Science и Big Data
Авторы: Дэви Силен, Арно Мейсман, Мохамед Али
Описание: Изучение DS вы начнете с базовых вещей, а потом приступите к алгоритмам машинного обучения, массивам данных, NoSQL и т. д. В качестве языка программирования в этой книге используется Python со специальными библиотеками.
👉 Principles of Strategic Data Science
Авторы: Peter Prevos
Описание: Книга начинается с объяснения того, что такое наука о данных и как организации могут ее использовать для оптимизации всех рабочих процессов. Затем автор приводит критерии надежности информационных продуктов и способы визуализации информации. В процессе изучения пятиэтапной структуры вы будете открывать для себя стратегические аспекты DS, которые позволяют повысить ценность извлекаемых данных. В заключительной главе рассматривается роль штатного аналитика данных в процессе интеграции DS-подхода в бизнес-процессы организации.
Российский рынок технологий с голосовыми решениями на базе ИИ достигнет $561 млн в 2025 году.
SmartSpeech — подобная разработка от команды Сбера.
Что умеет?
Распознавать речь: фильтрует шумы, понимает, закончена фраза или нет, какие эмоции у говорящего.
Синтезировать речь, в том числе на английском – говорить естественно, менять тон и тембр, правильно произносить ё. Не путается при произношении сложных адресов и названий.
Где использовать?
Для превращения аудио в текст и наоборот, для озвучки интерфейсов, автоответов по телефону, голосового управления, в том числе с использованием голосовых помощников.
Как протестировать?
На что способен SmartSpeech в части распознавания речи, можно посмотреть с помощью бесплатного Telegram-бота. Его назначение — конвертировать голосовые сообщения и другие аудиофайлы в текст.
Для кого подходит?
Особенно оценят специалисты, которые работают со словом. Для бизнеса бот — отличный способ познакомиться с возможностями умной технологии SmartSpeech
SmartSpeech — подобная разработка от команды Сбера.
Что умеет?
Распознавать речь: фильтрует шумы, понимает, закончена фраза или нет, какие эмоции у говорящего.
Синтезировать речь, в том числе на английском – говорить естественно, менять тон и тембр, правильно произносить ё. Не путается при произношении сложных адресов и названий.
Где использовать?
Для превращения аудио в текст и наоборот, для озвучки интерфейсов, автоответов по телефону, голосового управления, в том числе с использованием голосовых помощников.
Как протестировать?
На что способен SmartSpeech в части распознавания речи, можно посмотреть с помощью бесплатного Telegram-бота. Его назначение — конвертировать голосовые сообщения и другие аудиофайлы в текст.
Для кого подходит?
Особенно оценят специалисты, которые работают со словом. Для бизнеса бот — отличный способ познакомиться с возможностями умной технологии SmartSpeech
Почему я ушел из Netflix с позиции разработчика с окладом 450000$
Перевод статьи Michael Lin. Ссылка на оригинал
Читать перевод на хабре...
Перевод статьи Michael Lin. Ссылка на оригинал
Читать перевод на хабре...
За считанные годы криптовалюты стали частью современного мира и используются для самых разных целей в том числе для инвестирования. Команда Николая Валиотти на канале LEFT JOIN не даёт советы с точки зрения инвесторов, зато они написали скрипты для обработки данных, которые помогают получать нужную информацию о валютах и быстро обрабатывать информацию на бирже инструментами аналитики данных, чтобы принимать взвешенные решения.
Об этом и многом другом вы можете узнать на канале LEFT JOIN. Подписывайтесь!
Об этом и многом другом вы можете узнать на канале LEFT JOIN. Подписывайтесь!
Forwarded from inDrive.Tech
📈 Как оценить изменения в технологическом продукте с помощью данных?
Этому посвящена англоязычная статья дата-сайентиста inDriver Николая Неустроева на Medium. В материале вы найдете подробное описание и примеры 9 экспериментальных и квази-экспериментальных методов для анализа данных.
Статья поможет понять, какой метод анализа данных выбрать, в зависимости от ситуации и ресурсов.
Этому посвящена англоязычная статья дата-сайентиста inDriver Николая Неустроева на Medium. В материале вы найдете подробное описание и примеры 9 экспериментальных и квази-экспериментальных методов для анализа данных.
Статья поможет понять, какой метод анализа данных выбрать, в зависимости от ситуации и ресурсов.
Стань дата-инженером с Яндекс Практикумом
Сервис онлайн-обучения цифровым профессиям Яндекс Практикум запускает программу обучения по специальности «Инженер данных». Курс предназначен для студентов с как минимум базовым знанием SQL и Python — перед стартом необходимо пройти тест.
Авторы и преподаватели – практикующие эксперты ведущих российских IT-компаний.
Длительность — 6,5 месяцев.
Курс на 75% состоит из практических занятий – по окончании программы в вашем портфолио будет не менее 10 проектов.
Вы научитесь:
- работать с технологиями Python, SQL, Metabase, Airflow, PostgreSQL, MongoDB, ClickHouse, Celery, Kafka, Hadoop, Apache Spark, Spark Streaming и Yandex.Cloud
- извлекать, очищать и сохранять данные
- создавать и поддерживать хранилища типов Data Warehouse и Data Lake
- работать со стриминговой обработкой данных и облаками
Претендовать на работу по новой специальности студенты курса смогут уже в ходе обучения – с поиском вакансии помогут специалисты карьерного центра Яндекс Практикум.
Запись на курс открыта, старт занятий для ближайшего потока студентов – 23 мая.
Стоимость курса:
95 000 рублей при разовой оплате, при оплате в рассрочку – 17 000 рублей в месяц.
По завершении программы студенты получат диплом о профессиональной переподготовке.
Запись на бесплатную вводную часть и подробности по ссылке.
Сервис онлайн-обучения цифровым профессиям Яндекс Практикум запускает программу обучения по специальности «Инженер данных». Курс предназначен для студентов с как минимум базовым знанием SQL и Python — перед стартом необходимо пройти тест.
Авторы и преподаватели – практикующие эксперты ведущих российских IT-компаний.
Длительность — 6,5 месяцев.
Курс на 75% состоит из практических занятий – по окончании программы в вашем портфолио будет не менее 10 проектов.
Вы научитесь:
- работать с технологиями Python, SQL, Metabase, Airflow, PostgreSQL, MongoDB, ClickHouse, Celery, Kafka, Hadoop, Apache Spark, Spark Streaming и Yandex.Cloud
- извлекать, очищать и сохранять данные
- создавать и поддерживать хранилища типов Data Warehouse и Data Lake
- работать со стриминговой обработкой данных и облаками
Претендовать на работу по новой специальности студенты курса смогут уже в ходе обучения – с поиском вакансии помогут специалисты карьерного центра Яндекс Практикум.
Запись на курс открыта, старт занятий для ближайшего потока студентов – 23 мая.
Стоимость курса:
95 000 рублей при разовой оплате, при оплате в рассрочку – 17 000 рублей в месяц.
По завершении программы студенты получат диплом о профессиональной переподготовке.
Запись на бесплатную вводную часть и подробности по ссылке.
ML под ударом: противодействие атакам на алгоритмы машинного обучения
Ежегодно выходят тысячи научных работ об атаках на алгоритмы машинного обучения. Большая часть из них рассказывает о взломе компьютерного зрения, ведь на его примере можно наглядно продемонстрировать последствия атаки. На деле первыми под удар попадают спам-фильтры, классификаторы контента, антивирусные сканеры и системы обнаружения вторжений. Например, достается базе VirusTotal. Туда уже давно пробуют загружать безобидные файлы, которые распознаются, как вредоносные и вызывают цепочки ложных срабатываний.
Читать...
Ежегодно выходят тысячи научных работ об атаках на алгоритмы машинного обучения. Большая часть из них рассказывает о взломе компьютерного зрения, ведь на его примере можно наглядно продемонстрировать последствия атаки. На деле первыми под удар попадают спам-фильтры, классификаторы контента, антивирусные сканеры и системы обнаружения вторжений. Например, достается базе VirusTotal. Туда уже давно пробуют загружать безобидные файлы, которые распознаются, как вредоносные и вызывают цепочки ложных срабатываний.
Читать...
Израильский стартап упрощает найм сотрудников с использованием обработки естественного языка
Myinterview – израильский стартап, разрабатывающий инструменты машинного обучения для ускорения и упрощения процессов найма для компаний. Платформа Myinterview расшифровывает видеоинтервью кандидатов, оценивает их навыки и выставляет оценку.
Основатели утверждают, что Myinterview помогает работодателям экономить до 70% времени на найм. Миссия MyInterview состоит в том, чтобы создавать короткие и эффективные воронки найма.
Читать...
Myinterview – израильский стартап, разрабатывающий инструменты машинного обучения для ускорения и упрощения процессов найма для компаний. Платформа Myinterview расшифровывает видеоинтервью кандидатов, оценивает их навыки и выставляет оценку.
Основатели утверждают, что Myinterview помогает работодателям экономить до 70% времени на найм. Миссия MyInterview состоит в том, чтобы создавать короткие и эффективные воронки найма.
Читать...
Аналитик данных с нуля до трудоустройства
Ключевыми навыками аналитика являются умение собирать, анализировать и презентовать данные. Но где сегодня научиться этим навыкам и освоить основные инструменты аналитики?
Приглашаем вас на курс «Профессия «Аналитика данных» от Moscow Digital School. Во время обучения вы освоите логические операторы SQL, работу с дашбордами BI, визуализации данных в Python, инструменты Excel и создадите свой аналитический проект. Научитесь строить прогнозы на основе данных и помогать бизнесу принимать решения.
На курсе вас ждет большой объем практических заданий, а эксперты аналитики будут сопровождать вас на каждом этапе обучение, доступным языком объясняя сложные вещи и отвечая на все ваши вопросы.
Лучшие студенты получат возможность попасть на стажировку в Ozon, Data Sfera, Agima.
Старт потока: 31 мая 2022.
Скидка 10% на обучение по промокоду: DATASCIENCE
Акция действует 5 дней.
Ключевыми навыками аналитика являются умение собирать, анализировать и презентовать данные. Но где сегодня научиться этим навыкам и освоить основные инструменты аналитики?
Приглашаем вас на курс «Профессия «Аналитика данных» от Moscow Digital School. Во время обучения вы освоите логические операторы SQL, работу с дашбордами BI, визуализации данных в Python, инструменты Excel и создадите свой аналитический проект. Научитесь строить прогнозы на основе данных и помогать бизнесу принимать решения.
На курсе вас ждет большой объем практических заданий, а эксперты аналитики будут сопровождать вас на каждом этапе обучение, доступным языком объясняя сложные вещи и отвечая на все ваши вопросы.
Лучшие студенты получат возможность попасть на стажировку в Ozon, Data Sfera, Agima.
Старт потока: 31 мая 2022.
Скидка 10% на обучение по промокоду: DATASCIENCE
Акция действует 5 дней.
На картинке 12 терминов. Сколько из них вы можете объяснить?
Если больше 10 - то вы молодец ✔️
Если меньше - то у вашей карьеры или бизнеса хреновое будущее ❌
Это поправимо. Достаточно 2 минуты в день читать этот канал, который ведут эксперты АНО "Цифровая экономика", и вы быстро войдёте в курс необходимых в 2022 году знаний о цифровизации бизнеса. Как минимум, сможете блеснуть на собеседовании. Как максимум - сможете перезапустить бизнес.
А ещё там подписчикам раздают чек-листы по цифровизации и топовые книги.
Подписывайтесь по этой ссылке: https://news.1rj.ru/str/cdo2day.
Если больше 10 - то вы молодец ✔️
Если меньше - то у вашей карьеры или бизнеса хреновое будущее ❌
Это поправимо. Достаточно 2 минуты в день читать этот канал, который ведут эксперты АНО "Цифровая экономика", и вы быстро войдёте в курс необходимых в 2022 году знаний о цифровизации бизнеса. Как минимум, сможете блеснуть на собеседовании. Как максимум - сможете перезапустить бизнес.
А ещё там подписчикам раздают чек-листы по цифровизации и топовые книги.
Подписывайтесь по этой ссылке: https://news.1rj.ru/str/cdo2day.
DATApedia - канал про Data Science, и все что связано с данными, в котором вы найдете:
— Переведенные статьи;
— Полезные видео;
— Интересные опросы;
— Профессиональный юмор;
Присоединяйтесь, давайте расти как профессионалы вместе 😉
Подписаться: @data_science_wiki
— Переведенные статьи;
— Полезные видео;
— Интересные опросы;
— Профессиональный юмор;
Присоединяйтесь, давайте расти как профессионалы вместе 😉
Подписаться: @data_science_wiki
Зачем бизнесу data science
Встретились как-то продакт с дата-сайентистом в одном офисе и стали выяснять, кто для бизнеса нужнее. Об этом в нашем видеоблоге вышел огромный выпуск, который я решил переделать в статью. Если интересно послушать полный диалог со всеми подробностями – добро пожаловать.
Всем привет! Меня зовут Игорь Уткин, я – дата-сайентист в hh.ru. В этой статье разбираемся: когда компании может понадобиться дата-сайентист, имеет ли собранная модель право на ошибку и как вообще люди уходят в data science.
Читать...
Встретились как-то продакт с дата-сайентистом в одном офисе и стали выяснять, кто для бизнеса нужнее. Об этом в нашем видеоблоге вышел огромный выпуск, который я решил переделать в статью. Если интересно послушать полный диалог со всеми подробностями – добро пожаловать.
Всем привет! Меня зовут Игорь Уткин, я – дата-сайентист в hh.ru. В этой статье разбираемся: когда компании может понадобиться дата-сайентист, имеет ли собранная модель право на ошибку и как вообще люди уходят в data science.
Читать...
Создание модели машинного обучения с помощью Google Colab без дополнительных настроек
Машинное обучение (МО) сейчас в тренде, поэтому неудивительно, что все компании хотят использовать его для улучшения своих продуктов или услуг. Мы наблюдаем растущий спрос на инженеров в сфере машинного обучения, и такой спрос привлекает внимание специалистов. Однако многим МО может показаться слишком сложным, особенно тем, у кого мало опыта работы с кодом или данными.
Читать...
Машинное обучение (МО) сейчас в тренде, поэтому неудивительно, что все компании хотят использовать его для улучшения своих продуктов или услуг. Мы наблюдаем растущий спрос на инженеров в сфере машинного обучения, и такой спрос привлекает внимание специалистов. Однако многим МО может показаться слишком сложным, особенно тем, у кого мало опыта работы с кодом или данными.
Читать...
Практические применения генеративных моделей: как мы делали суммаризатор текстов
В последнее время вышло большое количество генеративных моделей для русского языка. Команды Сбера выпустили целое семейство авторегрессионных моделей ruGPT3, ruT5, о которых мы подробно писали ранее. Сегодня мы расскажем, как практически применять обучение таких моделей и какие продукты можно получить на их основе.
Читать...
В последнее время вышло большое количество генеративных моделей для русского языка. Команды Сбера выпустили целое семейство авторегрессионных моделей ruGPT3, ruT5, о которых мы подробно писали ранее. Сегодня мы расскажем, как практически применять обучение таких моделей и какие продукты можно получить на их основе.
Читать...
💥 Не пропустите: только что вышла из печати книга «Ценность ваших данных» — титанический труд авторского коллектива компании «Юнидата», в котором аккумулирован обширный опыт международных и российских проектов в области управления данными.
Это настоящий кладезь информации, связанной данными, на которых строится новый цифровой мир и трансформируется мир прежний.
Все подробно, четко, структурировано, методологически выверено, и главное — интересно!
👨💼👨💼👨💼 Авторы книги: Сергей Кузнецов, Александр Константинов и Николай Скворцов — не только настоящие профессионалы с многолетним стажем управления данными, но и кураторы выпуска DAMA-DMBOK2 на русском языке — Свода знаний по управлению данными.
Книга будет полезна как начинающим, так и опытным специалистам по управлению данными.
📕 Оставляйте заявки на книгу!
Это настоящий кладезь информации, связанной данными, на которых строится новый цифровой мир и трансформируется мир прежний.
Все подробно, четко, структурировано, методологически выверено, и главное — интересно!
👨💼👨💼👨💼 Авторы книги: Сергей Кузнецов, Александр Константинов и Николай Скворцов — не только настоящие профессионалы с многолетним стажем управления данными, но и кураторы выпуска DAMA-DMBOK2 на русском языке — Свода знаний по управлению данными.
Книга будет полезна как начинающим, так и опытным специалистам по управлению данными.
📕 Оставляйте заявки на книгу!
Как автоматически переписать текст другими словами, сохранив смысл? Рассказываем про рерайт-сервис
Часто при работе с текстами мы хотим не только выделить главное из больших отрывков, но и переписать текст, сохранив его смысл. В предыдущем посте мы рассказали, как команда SberDevices делала AI Service суммаризатора. Сегодня давайте поговорим про наш опыт создания не просто парафразера, а именно рерайтера текста. В связке эти инструменты могут быть полезны для множества практических задач. Демо обоих сервисов доступны в маркетплейсе AI Services.
Читать...
Часто при работе с текстами мы хотим не только выделить главное из больших отрывков, но и переписать текст, сохранив его смысл. В предыдущем посте мы рассказали, как команда SberDevices делала AI Service суммаризатора. Сегодня давайте поговорим про наш опыт создания не просто парафразера, а именно рерайтера текста. В связке эти инструменты могут быть полезны для множества практических задач. Демо обоих сервисов доступны в маркетплейсе AI Services.
Читать...
Самые интересные новости из мира Data Science — дайджест от МТС с комментариями эксперта
В обзоре:
🔹 модель Contrastive Captioners — наследница CLIP и SimVLM,
🔸 новая мультимодальная SotA-модель от DeepMind,
🔹 модель SymphonyNet для генерации симфонической музыки,
🔸 а также о том, что Google Research открыл доступ к своей базе кода для обучения моделей машинного зрения на виртуальных машинах Cloud TPU.
Полезное и интересное чтиво тут.
В обзоре:
🔹 модель Contrastive Captioners — наследница CLIP и SimVLM,
🔸 новая мультимодальная SotA-модель от DeepMind,
🔹 модель SymphonyNet для генерации симфонической музыки,
🔸 а также о том, что Google Research открыл доступ к своей базе кода для обучения моделей машинного зрения на виртуальных машинах Cloud TPU.
Полезное и интересное чтиво тут.
Tproger
Новости из мира Data Science — дайджест от МТС
Публикуем свежие новости о Data Science: новые проекты, модель, которая пишет симфонию и база кода от Google Research
Система распознавания шрифта Брайля. Читаем написанное белым по белому
В 2018 году мы взяли из детдома в семью слепую девочку Анжелу. Тогда я думал, что это чисто семейное обстоятельство, никак не связанное с моей профессией разработчика систем компьютерного зрения. Но благодаря дочери через два года появилась программа и интернет-сервис для распознавания текстов, написанных шрифтом Брайля - Angelina Braille Reader.
Сейчас этот сервис используют сотни людей и в России, и за ее пределами. Тема оказалась хайповой, сюжет о программе даже показали в федеральных новостях на ТВ. Но что важнее - за свою многолетнюю карьеру в ИТ ни в одном проекте я не получал столько искренних благодарностей от пользователей.
Ниже расскажу о том, как делалась эта разработка и с какими трудностями пришлось столкнуться. Более развернутое описание приведено в публикациях [1,2].
Возможно, кто-то захочет внести в проект свой вклад.
Читать...
В 2018 году мы взяли из детдома в семью слепую девочку Анжелу. Тогда я думал, что это чисто семейное обстоятельство, никак не связанное с моей профессией разработчика систем компьютерного зрения. Но благодаря дочери через два года появилась программа и интернет-сервис для распознавания текстов, написанных шрифтом Брайля - Angelina Braille Reader.
Сейчас этот сервис используют сотни людей и в России, и за ее пределами. Тема оказалась хайповой, сюжет о программе даже показали в федеральных новостях на ТВ. Но что важнее - за свою многолетнюю карьеру в ИТ ни в одном проекте я не получал столько искренних благодарностей от пользователей.
Ниже расскажу о том, как делалась эта разработка и с какими трудностями пришлось столкнуться. Более развернутое описание приведено в публикациях [1,2].
Возможно, кто-то захочет внести в проект свой вклад.
Читать...