Как с помощью Python создать полностью автоматизированную трейдинговую систему на базе ИИ
Можно ли с помощью ИИ автоматизировать набор правил, по которым действуют на бирже профессиональные трейдеры? Команда VK Cloud Solutions перевела статью о том, как это удалось реализовать и что вышло из такой затеи.
Читать...
Можно ли с помощью ИИ автоматизировать набор правил, по которым действуют на бирже профессиональные трейдеры? Команда VK Cloud Solutions перевела статью о том, как это удалось реализовать и что вышло из такой затеи.
Читать...
Анализируем речь с помощью Python: Как и о чем говорят на YouTube-канале «вДудь»?
Дисклеймер номер один: 18+. В этой статье присутствует ненормативная лексика, так как некоторые гости Юрия не стесняются в выражениях. Мы не хотим никого задеть или оскорбить чьи-то чувства, присутствие мата объясняется лишь объектом нашего исследования.
Выход практически каждого ролика на канале «вДудь» считается событием, а некоторые из этих релизов даже сопровождаются скандалами из-за неосторожных высказываний его гостей.
Сегодня при помощи статистических подходов и алгоритмов ML мы будем анализировать прямую речь. В качестве данных используем интервью, которые журналист Юрий Дудь (признан иностранным агентом на территории РФ) берет для своего YouTube-канала. Посмотрим с помощью Python, о чем таком интересном говорили в интервью на канале «вДудь».
Читать статью...
Дисклеймер номер один: 18+. В этой статье присутствует ненормативная лексика, так как некоторые гости Юрия не стесняются в выражениях. Мы не хотим никого задеть или оскорбить чьи-то чувства, присутствие мата объясняется лишь объектом нашего исследования.
Выход практически каждого ролика на канале «вДудь» считается событием, а некоторые из этих релизов даже сопровождаются скандалами из-за неосторожных высказываний его гостей.
Сегодня при помощи статистических подходов и алгоритмов ML мы будем анализировать прямую речь. В качестве данных используем интервью, которые журналист Юрий Дудь (признан иностранным агентом на территории РФ) берет для своего YouTube-канала. Посмотрим с помощью Python, о чем таком интересном говорили в интервью на канале «вДудь».
Читать статью...
Открытые алгоритмы Твиттер, к чему это приведет?
Илон Маск заявил, что намерен открыть алгоритмы Twitter и превратить соц. сеть в модель с открытым исходным кодом. Если это произойдет, любой желающий сможет их изучать или использовать в своих целях. Мы (дата-сайнтисты из центра машинного обучения «Инфосистемы Джет») решили пофантазировать, какие возможности дает открытие алгоритмов. А у вас есть мнение на этот счет? Давайте попробуем предсказывать будущее!
Читать...
Илон Маск заявил, что намерен открыть алгоритмы Twitter и превратить соц. сеть в модель с открытым исходным кодом. Если это произойдет, любой желающий сможет их изучать или использовать в своих целях. Мы (дата-сайнтисты из центра машинного обучения «Инфосистемы Джет») решили пофантазировать, какие возможности дает открытие алгоритмов. А у вас есть мнение на этот счет? Давайте попробуем предсказывать будущее!
Читать...
Как живется в США «айтишнику». Три года спустя
Всем привет, меня зовут Виктор. Мне 32 года, 12 из которых работаю "в айти". Начинал с простого сисадмина подай-принеси в Ульяновске, по окончании универа продолжил карьеру в Москве и вот оказался тут. Пока не женат, живу с местной девушкой, которую встретил на просторах Америки. Карьерный путь начал с поддержки инфраструктуры, после получения MBA попробовал себя в менеджменте, потом ушел в разработку изучать пайплайны и скрам и теперь вот снова вернулся в инфраструктуру в позиции тим лида, применяю свой опыт менеджера, но уже с новыми скиллами, все в рамках своей специализации, которая сейчас именуется максимально широким словом DevOps. Никакого специального блога о переезде не вел и это будет мой первый большой обзор своего опыта проживания тут.
Читать...
#longread #relocation
Всем привет, меня зовут Виктор. Мне 32 года, 12 из которых работаю "в айти". Начинал с простого сисадмина подай-принеси в Ульяновске, по окончании универа продолжил карьеру в Москве и вот оказался тут. Пока не женат, живу с местной девушкой, которую встретил на просторах Америки. Карьерный путь начал с поддержки инфраструктуры, после получения MBA попробовал себя в менеджменте, потом ушел в разработку изучать пайплайны и скрам и теперь вот снова вернулся в инфраструктуру в позиции тим лида, применяю свой опыт менеджера, но уже с новыми скиллами, все в рамках своей специализации, которая сейчас именуется максимально широким словом DevOps. Никакого специального блога о переезде не вел и это будет мой первый большой обзор своего опыта проживания тут.
Читать...
#longread #relocation
Как стать хорошим техлидом
В 2006 году Яндекс и Google приехали в Петербург в Borland, который сокращал команду. Обе компании одновременно открывали в Петербурге свои офисы на его базе. Тогда к нам пришли замечательные ребята. Мы много общались, но больше всего запомнились слова Толи Орлова. Он сказал, что рост Яндекса на тот момент ограничивает только количество лидов, которые бы могли развивать продукты. Что роли техлида и тимлида очень существенны, и часто рост компании зависит только от наличия сильных лидеров. Тогда мне и захотелось узнать, как им стать.
Читать...
#longread #career
В 2006 году Яндекс и Google приехали в Петербург в Borland, который сокращал команду. Обе компании одновременно открывали в Петербурге свои офисы на его базе. Тогда к нам пришли замечательные ребята. Мы много общались, но больше всего запомнились слова Толи Орлова. Он сказал, что рост Яндекса на тот момент ограничивает только количество лидов, которые бы могли развивать продукты. Что роли техлида и тимлида очень существенны, и часто рост компании зависит только от наличия сильных лидеров. Тогда мне и захотелось узнать, как им стать.
Читать...
#longread #career
ИИ может определять расу людей по рентгеновским снимкам, и ученые в шоке
Новые исследования показывают, что нейросети способны определить расу любого человека по его рентгеновским снимкам. Что было бы совершенно невозможно для врача-человека, смотрящего на те же изображения.
Группа ученых из США, Тайваня и Канады опубликовала свою работу в журнале The Lancet Digital Health.
Читать...
Новые исследования показывают, что нейросети способны определить расу любого человека по его рентгеновским снимкам. Что было бы совершенно невозможно для врача-человека, смотрящего на те же изображения.
Группа ученых из США, Тайваня и Канады опубликовала свою работу в журнале The Lancet Digital Health.
Читать...
Из инженера – в Data Scientist: лайфхаки от первого лица
Еще 3 года назад я работал инженером-конструктором в зарубежной строительной компании. Почему я решил кардинально поменять свою карьерную траекторию, почему выбрал именно Data Science, и как я к этому пришёл? Поделюсь опытом, который, возможно, окажется полезным для молодых специалистов, ищущих «работу мечты». Тем, кто задумался о смене профессии, думаю, информация тоже будет полезна.
Читать...
Еще 3 года назад я работал инженером-конструктором в зарубежной строительной компании. Почему я решил кардинально поменять свою карьерную траекторию, почему выбрал именно Data Science, и как я к этому пришёл? Поделюсь опытом, который, возможно, окажется полезным для молодых специалистов, ищущих «работу мечты». Тем, кто задумался о смене профессии, думаю, информация тоже будет полезна.
Читать...
ВКонтакте приглашает на Weekend Offer для ML- и RecSys-разработчиков
Вместе с командой VK Клипов и VK Видео вы будете разрабатывать рекомендательные системы для двух крупнейших российских видеосервисов. Команда рекомендаций и развития сервисов исследует новые предпочтения людей и помогает авторам контента найти свою аудиторию. В команде сообществ можно заниматься типичными DS-задачами по разработке моделей и проведению A/B-экспериментов или задуматься над обеспечением высокой производительности сбора данных и доставки рекомендаций пользователям. Команда Core ML занимается умным ранжированием ленты и подбором интересных публикаций для пользователей, анализом контента с помощью DL, рекомендациями друзей (графами и SNA), ранжированием комментариев, анализом A/B-экспериментов. Подайте заявку по ссылке ниже: с вами свяжутся и назначат слот на выходные (2–3 июля).
Зарегистрироваться
Вместе с командой VK Клипов и VK Видео вы будете разрабатывать рекомендательные системы для двух крупнейших российских видеосервисов. Команда рекомендаций и развития сервисов исследует новые предпочтения людей и помогает авторам контента найти свою аудиторию. В команде сообществ можно заниматься типичными DS-задачами по разработке моделей и проведению A/B-экспериментов или задуматься над обеспечением высокой производительности сбора данных и доставки рекомендаций пользователям. Команда Core ML занимается умным ранжированием ленты и подбором интересных публикаций для пользователей, анализом контента с помощью DL, рекомендациями друзей (графами и SNA), ранжированием комментариев, анализом A/B-экспериментов. Подайте заявку по ссылке ниже: с вами свяжутся и назначат слот на выходные (2–3 июля).
Зарегистрироваться
Как мы составили Словарь больших данных для тех, кто не в теме бигдаты
Однажды мой приятель — проджект в одной компании и бывший учитель английского, пожаловался: «На созвонах, где речь про бигдату заходит, я ничего не понимаю!» И это прям эхом отозвалось в моей душе: увы, но у меня с пониманием больших данных дела обстояли не лучше. Да что там: признаюсь, когда наши дата-инженеры начинали говорить, мне казалось, что беседа вдруг перешла на эльфийский.
Об этом и о том, в каких муках рождался обозначенный выше Словарь, и написана эта статья.
Читать...
Однажды мой приятель — проджект в одной компании и бывший учитель английского, пожаловался: «На созвонах, где речь про бигдату заходит, я ничего не понимаю!» И это прям эхом отозвалось в моей душе: увы, но у меня с пониманием больших данных дела обстояли не лучше. Да что там: признаюсь, когда наши дата-инженеры начинали говорить, мне казалось, что беседа вдруг перешла на эльфийский.
Об этом и о том, в каких муках рождался обозначенный выше Словарь, и написана эта статья.
Читать...
Воспроизводимость ML экспериментов с помощью MLflow project
Всем привет! Меня зовут Игорь Дергунов и я руководитель инновационной лаборатории Digital Design, которая занимается оптимизацией бизнес-процессов с помощью методов машинного обучения. В процессе работы над проектами в данной сфере быстро приходит осознание необходимости учета и структурирования проводимых экспериментов. В нашем случае мы воспользовались инструментом MLflow, который предоставляет функциональность для отслеживания экспериментов и управления жизненным циклом моделей машинного обучения.
Читать...
Всем привет! Меня зовут Игорь Дергунов и я руководитель инновационной лаборатории Digital Design, которая занимается оптимизацией бизнес-процессов с помощью методов машинного обучения. В процессе работы над проектами в данной сфере быстро приходит осознание необходимости учета и структурирования проводимых экспериментов. В нашем случае мы воспользовались инструментом MLflow, который предоставляет функциональность для отслеживания экспериментов и управления жизненным циклом моделей машинного обучения.
Читать...
28 июня, 16:00
SAP-проекты: инфраструктура и миграция в 2022 году
В этот вторник @Selectel проведет вебинар, где покажет, как арендовать инфраструктуру для SAP «под ключ» и мигрировать с зарубежной платформы. Расскажут про SLA, оборудование в HCL SAP, сопровождение SAP Basis и соответствие инфраструктуры для SAP 152-ФЗ.
Темы вебинара:
◽️ Переезд на российский SAP-хостинг от зарубежных провайдеров
◽️ Миграция проектов SAP без даунтайма
◽️ Настройка SAP на гибридной инфраструктуре
◽️ Оптимизация расходов на инфраструктуру для SAP
Также эксперты из компании IBS — интегратора SAP-решений — расскажут про задачи для SAP и техподдержку пользователей.
🚀 Участие бесплатное, регистрируйтесь по ссылке: https://slc.tl/5j1bs
SAP-проекты: инфраструктура и миграция в 2022 году
В этот вторник @Selectel проведет вебинар, где покажет, как арендовать инфраструктуру для SAP «под ключ» и мигрировать с зарубежной платформы. Расскажут про SLA, оборудование в HCL SAP, сопровождение SAP Basis и соответствие инфраструктуры для SAP 152-ФЗ.
Темы вебинара:
◽️ Переезд на российский SAP-хостинг от зарубежных провайдеров
◽️ Миграция проектов SAP без даунтайма
◽️ Настройка SAP на гибридной инфраструктуре
◽️ Оптимизация расходов на инфраструктуру для SAP
Также эксперты из компании IBS — интегратора SAP-решений — расскажут про задачи для SAP и техподдержку пользователей.
🚀 Участие бесплатное, регистрируйтесь по ссылке: https://slc.tl/5j1bs
HaGRID — огромный открытый датасет для распознавания жестов
Хороший набор данных невероятно важен при обучении нейросетей. Наш датасет изображений с жестами HaGRID (Hand Gesture Recognition Image Dataset) — один из таких. С его помощью можно создать систему распознавания жестов, которая будет отлично работать в совершенно разных ситуациях. Например, жестовое управление можно использовать в видеоконференциях, для управления устройствами умного дома или мультимедийными возможностями автомобиля. Ещё одна важная возможность — создание виртуальных помощников для пользователей с дефектами речи или использующих язык жестов. Ниже рассказываем, как всё это работает, и делимся ссылками на датасет и набор предобученных моделей к нему.
Читать...
Хороший набор данных невероятно важен при обучении нейросетей. Наш датасет изображений с жестами HaGRID (Hand Gesture Recognition Image Dataset) — один из таких. С его помощью можно создать систему распознавания жестов, которая будет отлично работать в совершенно разных ситуациях. Например, жестовое управление можно использовать в видеоконференциях, для управления устройствами умного дома или мультимедийными возможностями автомобиля. Ещё одна важная возможность — создание виртуальных помощников для пользователей с дефектами речи или использующих язык жестов. Ниже рассказываем, как всё это работает, и делимся ссылками на датасет и набор предобученных моделей к нему.
Читать...
⚡️Приглашаем на VK Tech Talks · ML.
Когда: 30 июня в 19:00.
Где: офлайн в офисе VK и онлайн в сообществе VK Team.
В программе:
🔹Контентные рекомендации в Delivery Club
🔹Шесть классификаторов по цене одного, или всё о детекторе токсичности ВКонтакте
🔹Автораспознавание объявлений: сложно — не значит тяжело
👉 Регистрация тут
До встречи!
Когда: 30 июня в 19:00.
Где: офлайн в офисе VK и онлайн в сообществе VK Team.
В программе:
🔹Контентные рекомендации в Delivery Club
🔹Шесть классификаторов по цене одного, или всё о детекторе токсичности ВКонтакте
🔹Автораспознавание объявлений: сложно — не значит тяжело
👉 Регистрация тут
До встречи!
Метод наименьших квадратов: формулы, код и применение
Традиционно в машинном обучении, при анализе данных, перед разработчиком ставится проблема построения объясняющей эти данные модели, которая должна сделать жизнь проще и понятней тому, кто этой моделью начинает пользоваться. Обычно это модель некоторого объекта/процесса, данные о котором собираются при регистрации ряда его параметров. Полученные данные, после выполнения различных подготовительных процедур, представляются в виде таблицы с числовыми данными (где строка – объект, а столбец – параметр), которые необходимо обработать, подставив их в те или иные формулы и посчитать по ним, используя какой-нибудь язык программирования.
Читать...
Традиционно в машинном обучении, при анализе данных, перед разработчиком ставится проблема построения объясняющей эти данные модели, которая должна сделать жизнь проще и понятней тому, кто этой моделью начинает пользоваться. Обычно это модель некоторого объекта/процесса, данные о котором собираются при регистрации ряда его параметров. Полученные данные, после выполнения различных подготовительных процедур, представляются в виде таблицы с числовыми данными (где строка – объект, а столбец – параметр), которые необходимо обработать, подставив их в те или иные формулы и посчитать по ним, используя какой-нибудь язык программирования.
Читать...
Ныряем со Сноркелем в море данных. Туториал по фреймворку для программирования датасетов
В этом посте хочу рассказать вам о Сноркеле - фреймворке для программирования данных (data programming). Познакомился я с ним случайно несколько лет назад, и меня поразил этот подход, который заключается в использовании разных эвристик и априорных знаний для автоматической разметки датасетов. Проект стартовал в Стэнфорде как инструмент для помощи в разметке датасетов для задачи information extraction, а сейчас разработчики делают платформу для пользования внешними заказчиками.
Читать...
В этом посте хочу рассказать вам о Сноркеле - фреймворке для программирования данных (data programming). Познакомился я с ним случайно несколько лет назад, и меня поразил этот подход, который заключается в использовании разных эвристик и априорных знаний для автоматической разметки датасетов. Проект стартовал в Стэнфорде как инструмент для помощи в разметке датасетов для задачи information extraction, а сейчас разработчики делают платформу для пользования внешними заказчиками.
Читать...
👩🎓 Заканчивается приём заявок на 11 программ магистратуры Сколтеха:
- Фотоника и квантовые материалы
- Энергетические системы
- Технологии материалов
- Современные вычислительные методы
- Интернет вещей и технологии беспроводной связи
- Науки о данных
- Материаловедение
- Нефтегазовое дело
- Инженерные системы
- Науки о жизни
- Математическая и теоретическая физика
Университет входит в ТОП-100 лучших молодых университетов мира по версии Nature Index. Учёба в Сколтехе — это:
- Уникальные высокотехнологичные лаборатории
- Профессора и студенты со всего мира
- Международный диплом и обучение на английском
- Широкие возможности после окончания: карьера в ведущих компаниях, наука или свой стартап
📅 10 июля — последний дедлайн конкурсного отбора в магистратуру Сколтеха. Познакомиться подробнее с программами и начать процесс поступления можно по ссылке:
https://is.gd/gAwHV8
- Фотоника и квантовые материалы
- Энергетические системы
- Технологии материалов
- Современные вычислительные методы
- Интернет вещей и технологии беспроводной связи
- Науки о данных
- Материаловедение
- Нефтегазовое дело
- Инженерные системы
- Науки о жизни
- Математическая и теоретическая физика
Университет входит в ТОП-100 лучших молодых университетов мира по версии Nature Index. Учёба в Сколтехе — это:
- Уникальные высокотехнологичные лаборатории
- Профессора и студенты со всего мира
- Международный диплом и обучение на английском
- Широкие возможности после окончания: карьера в ведущих компаниях, наука или свой стартап
📅 10 июля — последний дедлайн конкурсного отбора в магистратуру Сколтеха. Познакомиться подробнее с программами и начать процесс поступления можно по ссылке:
https://is.gd/gAwHV8
Яндекс Практикум обновил бесплатный тренажёр по основам математики для цифровых профессий
Сервис онлайн-обучения цифровым профессиям Яндекс Практикум обновил бесплатный тренажёр по математике: теперь в нем есть модуль по теории вероятностей. В рамках нового модуля студенты познакомятся с тем, как строятся вероятностные модели, как они связаны с тем, что мы наблюдаем в жизни, и как этим можно пользоваться.
Прохождение нового модуля займёт 15-20 часов. Дедлайнов на выполнение задач нет, это самостоятельное обучение.
Помимо нового модуля, в тренажёре есть 5 других: «Числа», «Дроби», «Алгебра», «Множества и логика» и «Комбинаторика».
В каждом модуле от 15 до 20 уроков.
Внутри модулей — теория в тексте, визуальные интерактивные объяснения и задачи. Всего более 1600 задач с автоматической проверкой и объяснением хода решения.
Длительность прохождения одного модуля — 20-30 часов.
Вы научитесь:
- быстро считать в уме, работать с пропорциями и процентами, решать уравнения и неравенства, совершать операции над множествами, использовать логические операторы, решать комбинаторные задачи и доказывать несложные теоремы;
- браться за задачи с несколькими переменными, корректно интерпретировать данные статистики, видеть ошибки в расчётах и понимать абстракции, которыми в работе оперируют разработчики и аналитики;
- решать задачи, с которыми менеджеры проектов, маркетологи, тестировщики, аналитики, разработчики и представители других цифровых профессий сталкиваются на работе.
Приступить к прохождению тренажёра и изучить подробности можно по ссылке.
Сервис онлайн-обучения цифровым профессиям Яндекс Практикум обновил бесплатный тренажёр по математике: теперь в нем есть модуль по теории вероятностей. В рамках нового модуля студенты познакомятся с тем, как строятся вероятностные модели, как они связаны с тем, что мы наблюдаем в жизни, и как этим можно пользоваться.
Прохождение нового модуля займёт 15-20 часов. Дедлайнов на выполнение задач нет, это самостоятельное обучение.
Помимо нового модуля, в тренажёре есть 5 других: «Числа», «Дроби», «Алгебра», «Множества и логика» и «Комбинаторика».
В каждом модуле от 15 до 20 уроков.
Внутри модулей — теория в тексте, визуальные интерактивные объяснения и задачи. Всего более 1600 задач с автоматической проверкой и объяснением хода решения.
Длительность прохождения одного модуля — 20-30 часов.
Вы научитесь:
- быстро считать в уме, работать с пропорциями и процентами, решать уравнения и неравенства, совершать операции над множествами, использовать логические операторы, решать комбинаторные задачи и доказывать несложные теоремы;
- браться за задачи с несколькими переменными, корректно интерпретировать данные статистики, видеть ошибки в расчётах и понимать абстракции, которыми в работе оперируют разработчики и аналитики;
- решать задачи, с которыми менеджеры проектов, маркетологи, тестировщики, аналитики, разработчики и представители других цифровых профессий сталкиваются на работе.
Приступить к прохождению тренажёра и изучить подробности можно по ссылке.
Может ли синтез речи обмануть систему биометрической идентификации?
Под одной из наших недавних статей на Хабре я упомянул исследование, подробно рассматривающее вопрос "обмана" коммерческих систем биометрической идентификации с помощью открытых инструментов по клонированию голоса. Завязалась дискуссия на тему "стоит ли бояться, что ваш голос украдут".
Естественно, исследование четкого однозначного ответа не дает, но скорее говорит, что на пути злоумышленников в первую очередь встает несовершенство систем клонирования голоса, количество и качество записей полученных мошенниками, акценты и прочие несовершенства мира. Проценты "обмана" при наличии ряда таких затруднений там не впечатляющие.
Читать...
Под одной из наших недавних статей на Хабре я упомянул исследование, подробно рассматривающее вопрос "обмана" коммерческих систем биометрической идентификации с помощью открытых инструментов по клонированию голоса. Завязалась дискуссия на тему "стоит ли бояться, что ваш голос украдут".
Естественно, исследование четкого однозначного ответа не дает, но скорее говорит, что на пути злоумышленников в первую очередь встает несовершенство систем клонирования голоса, количество и качество записей полученных мошенниками, акценты и прочие несовершенства мира. Проценты "обмана" при наличии ряда таких затруднений там не впечатляющие.
Читать...
Нужна ли математика в Data Science и почему ее тяжело учить одному? Первый подкаст ФКН
Чем занимаются математики? Нужна ли все-таки математика в Data Science? Поздно ли учить высшую математику после универа? Как вкатиться в математику самостоятельно?
Ведущий: Евгений Соколов, академический руководитель бакалавриата «Прикладная математика и информатика» ФКН и научный руководитель Центра непрерывного образования ФКН.
Гости:
• Леонид Иосипой, эксперт Центра непрерывного образования, преподаватель курса повышения квалификации «Математика для анализа данных»
• Сергей Карапетян, начальник отдела внешних коммуникаций ФКН
Смотреть подкаст...
Чем занимаются математики? Нужна ли все-таки математика в Data Science? Поздно ли учить высшую математику после универа? Как вкатиться в математику самостоятельно?
Ведущий: Евгений Соколов, академический руководитель бакалавриата «Прикладная математика и информатика» ФКН и научный руководитель Центра непрерывного образования ФКН.
Гости:
• Леонид Иосипой, эксперт Центра непрерывного образования, преподаватель курса повышения квалификации «Математика для анализа данных»
• Сергей Карапетян, начальник отдела внешних коммуникаций ФКН
Смотреть подкаст...
YouTube
Нужна ли математика в Data Science и почему ее тяжело учить одному? Первый подкаст ФКН
Чем занимаются математики? Нужна ли все-таки математика в Data Science? Поздно ли учить высшую математику после универа? Как вкатиться в математику самостоятельно?
Ведущий: Евгений Соколов, академический руководитель бакалавриата «Прикладная математика и…
Ведущий: Евгений Соколов, академический руководитель бакалавриата «Прикладная математика и…