Вопросы с собеседований по Data Science.
#data_science_questions
#data_science_career
#career_guide
Data Science – это область, требующая постоянного улучшения вашего набора skills.
Нет необходимости утверждать что свои скилы надо прорабатывать постоянно, ну или хотя бы как можно чаще.
Карьера в сфере науке о данных, требует серьезных знаний в математике, алгоритмах, программирование и т. д.
Собрали для вас guide вопросов с ответами в интервью, которые задают кандидатам во время трудоустройства в Amazon, Netflix и Google.
Не исключено что и в российских компаниях могут задать такие же questions.
Вопрос:
Объясните наиболее простым способом принцип работы MapReduce
Материалы для ответа:
stackoverflow.com
blogerator.org
bigdataschool.ru
#data_science_questions
#data_science_career
#career_guide
Data Science – это область, требующая постоянного улучшения вашего набора skills.
Нет необходимости утверждать что свои скилы надо прорабатывать постоянно, ну или хотя бы как можно чаще.
Карьера в сфере науке о данных, требует серьезных знаний в математике, алгоритмах, программирование и т. д.
Собрали для вас guide вопросов с ответами в интервью, которые задают кандидатам во время трудоустройства в Amazon, Netflix и Google.
Не исключено что и в российских компаниях могут задать такие же questions.
Вопрос:
Объясните наиболее простым способом принцип работы MapReduce
Материалы для ответа:
stackoverflow.com
blogerator.org
bigdataschool.ru
«Алису» научили говорить оригинальные тосты и создавать открытки
Разработчики из «Яндекса» научили голосового помощника «Алису» говорить уникальные тосты на любую тему, а также создавать открытки и мини поздравления. Технология основана на нейронной сети-трансформере. Об этом «Яндекс» сообщает в своем блоге.
Ранее «Алиса» тоже могла сказать тост, но использовала для этого заранее написанные варианты. Сейчас голосовой помощник создает тосты самостоятельно.
Для этого нужно сказать: «Алиса, скажи тост» и указать тему — «Алиса» предложит ответ.
«Темой может быть что угодно: любовь, технический прогресс, роботы-гитаристы. "Алиса" в любом случае не полезет за словом в карман и что-нибудь придумает», — отмечают разработчики.
Отмечается, что для создания тостов используются нейросети, применяемые в поиске «Яндекса». Они оценивают релевантность веб-страниц поисковому запросу.
Чтобы нейросеть смогла писать тосты, ее сначала обучили на большом массиве текстов из интернета: книг, статей и других документов. Так она усвоила общие правила, по которым составляются тексты на русском языке, и расширила свой словарный запас. Затем нейросеть дообучили на готовых тостах. Это позволило ей познакомиться с особенностями составления тостов, говорится в сообщении.
Для создания тостов компания предусмотрела два режима: умеренный и «без ограничений» — они отвечают за цензуру. Режимы доступны в настройках приложения.
Помимо тостов, «Алиса» научилась создавать новогодние открытки. Они, как правило, включают картинку и поздравительный текст-стишок. Картинка для открыток рисует нейронная сеть. За тексты отвечает «Автопоэт» — робот, который слагает стихи из поисковых запросов к «Яндексу».
Чтобы получить поздравление, нужно сказать: «Алиса, покажи открытку». Картинку можно сохранить в памяти устройства или переслать другому человеку. Если открытка не нравится, нужно повторить просьбу, и «Алиса» покажет другую.
Тосты можно слушать на любом устройстве с «Алисой»: умной колонке, компьютере, смартфоне. Открытки голосовой помощник показывает в приложении «Яндекса» и «Яндекс.Браузере» для мобильных устройств.
Разработчики из «Яндекса» научили голосового помощника «Алису» говорить уникальные тосты на любую тему, а также создавать открытки и мини поздравления. Технология основана на нейронной сети-трансформере. Об этом «Яндекс» сообщает в своем блоге.
Ранее «Алиса» тоже могла сказать тост, но использовала для этого заранее написанные варианты. Сейчас голосовой помощник создает тосты самостоятельно.
Для этого нужно сказать: «Алиса, скажи тост» и указать тему — «Алиса» предложит ответ.
«Темой может быть что угодно: любовь, технический прогресс, роботы-гитаристы. "Алиса" в любом случае не полезет за словом в карман и что-нибудь придумает», — отмечают разработчики.
Отмечается, что для создания тостов используются нейросети, применяемые в поиске «Яндекса». Они оценивают релевантность веб-страниц поисковому запросу.
Чтобы нейросеть смогла писать тосты, ее сначала обучили на большом массиве текстов из интернета: книг, статей и других документов. Так она усвоила общие правила, по которым составляются тексты на русском языке, и расширила свой словарный запас. Затем нейросеть дообучили на готовых тостах. Это позволило ей познакомиться с особенностями составления тостов, говорится в сообщении.
Для создания тостов компания предусмотрела два режима: умеренный и «без ограничений» — они отвечают за цензуру. Режимы доступны в настройках приложения.
Помимо тостов, «Алиса» научилась создавать новогодние открытки. Они, как правило, включают картинку и поздравительный текст-стишок. Картинка для открыток рисует нейронная сеть. За тексты отвечает «Автопоэт» — робот, который слагает стихи из поисковых запросов к «Яндексу».
Чтобы получить поздравление, нужно сказать: «Алиса, покажи открытку». Картинку можно сохранить в памяти устройства или переслать другому человеку. Если открытка не нравится, нужно повторить просьбу, и «Алиса» покажет другую.
Тосты можно слушать на любом устройстве с «Алисой»: умной колонке, компьютере, смартфоне. Открытки голосовой помощник показывает в приложении «Яндекса» и «Яндекс.Браузере» для мобильных устройств.
Horizon 8: современная платформа для гибридных и мультиоблачных развертываний
VMware Horizon представляет собой современную платформу для безопасной доставки виртуальных рабочих столов и приложений. Уникальные возможности продукта позволяют упрощать управление приложениями, профилями, а также политиками. Благодаря современным подходам решение ускоряет работу и снижает затраты компании. Vmware Horizon предоставляет необходимые приложения и службы по требованию одним нажатием кнопки, что обеспечивает высокую производительность труда и помогает повысить мобильность и конкурентоспособность бизнеса.
VMware Horizon представляет собой современную платформу для безопасной доставки виртуальных рабочих столов и приложений. Уникальные возможности продукта позволяют упрощать управление приложениями, профилями, а также политиками. Благодаря современным подходам решение ускоряет работу и снижает затраты компании. Vmware Horizon предоставляет необходимые приложения и службы по требованию одним нажатием кнопки, что обеспечивает высокую производительность труда и помогает повысить мобильность и конкурентоспособность бизнеса.
Отличаются ли в SQL операторы AND и &
#SQL
AND имеет более низкий приоритет по сравнению с & - 10
👍👍 12%
Оператор & не поддерживается стандартом SQL - 63
👍👍👍👍👍👍👍👍 74%
Приоритет AND выше, чем приоритет & - 3
👍 4%
Между ними нет отличий - 9
👍👍 11%
👥 85 человек уже проголосовало.
#SQL
AND имеет более низкий приоритет по сравнению с & - 10
👍👍 12%
Оператор & не поддерживается стандартом SQL - 63
👍👍👍👍👍👍👍👍 74%
Приоритет AND выше, чем приоритет & - 3
👍 4%
Между ними нет отличий - 9
👍👍 11%
👥 85 человек уже проголосовало.
⬆️ Правильный ответ ⬆️
AND имеет более низкий приоритет по сравнению с &
AND имеет более низкий приоритет по сравнению с &
Секреты Python. 59 рекомендаций по написанию эффективного кода
Язык Python завоевал популярность благодаря тому, что позволяет новичкам почти сразу же браться за написание кода. Однако достигнуть цельного понимания уникальных возможностей Python чрезвычайно трудно, особенно если учесть, что на этом пути вас подстерегает множество скрытых ловушек.
Книга приобщит вас к стилю программирования, выдержанному в истинном "духе Python", и поможет научиться писать исключительно надежный и высокопроизводительный код
Язык Python завоевал популярность благодаря тому, что позволяет новичкам почти сразу же браться за написание кода. Однако достигнуть цельного понимания уникальных возможностей Python чрезвычайно трудно, особенно если учесть, что на этом пути вас подстерегает множество скрытых ловушек.
Книга приобщит вас к стилю программирования, выдержанному в истинном "духе Python", и поможет научиться писать исключительно надежный и высокопроизводительный код
Благодаря нейросети удалось создать новую методику вычисления волновых функций
Благодаря нейросети удалось создать новую методику вычисления волновых функций. Этот алгоритм, без привлечения суперкомпьютера, способен решать уравнения Шредингера для любых молекул и с большей вероятностью определять основные свойства веществ.
Нейросеть, получившую название PauliNet, разработали ученые из университета Берлина. В её основе заложен принцип Паули, согласно которому, два и более электрона в атомах не могут находиться в одинаковых квантовых состояниях. То есть при обмене электронами их волновая функция меняет знак.
Сначала нейросеть научилась исследовать произвольные молекулы квантовыми методами Монте-Карло. Они подразумевают решение уравнений Шредингера для большого количества частиц. Основная сложность при выполнении таких задач — необходимость больших вычислительных мощностей для определения многочастичной волновой функции. Обычно используют более простые методы, например Теорию функционала плотности (DFT) или связанные кластеры (CC).
Однако такие упрощения создают ряд ограничений и для многих соединений все равно оказываются практически бесполезными.
Данным способом авторам удалось cправится с задачей в считанные часы без использования суперкомпьютера
Благодаря нейросети удалось создать новую методику вычисления волновых функций. Этот алгоритм, без привлечения суперкомпьютера, способен решать уравнения Шредингера для любых молекул и с большей вероятностью определять основные свойства веществ.
Нейросеть, получившую название PauliNet, разработали ученые из университета Берлина. В её основе заложен принцип Паули, согласно которому, два и более электрона в атомах не могут находиться в одинаковых квантовых состояниях. То есть при обмене электронами их волновая функция меняет знак.
Сначала нейросеть научилась исследовать произвольные молекулы квантовыми методами Монте-Карло. Они подразумевают решение уравнений Шредингера для большого количества частиц. Основная сложность при выполнении таких задач — необходимость больших вычислительных мощностей для определения многочастичной волновой функции. Обычно используют более простые методы, например Теорию функционала плотности (DFT) или связанные кластеры (CC).
Однако такие упрощения создают ряд ограничений и для многих соединений все равно оказываются практически бесполезными.
Данным способом авторам удалось cправится с задачей в считанные часы без использования суперкомпьютера
VS Code — мой любимый редактор кода. Это — самый популярный из существующих редакторов, возможности которого можно расширять практически до бесконечности. И, что удивительно, разработала его компания Microsoft. Я полагаю, что ни один из других редакторов и ни одна из других IDE не может дать разработчику хотя бы половину того, что способен дать ему VS Code. Одна из сильных сторон VS Code — это система расширений. Она позволяет создавать расширения буквально на все случаи жизни. Хочу рассказать вам о моём топ-10 расширений для VS Code.
Вопросы с собеседований по Data Science.
#data_science_questions
#data_science_career
#career_guide
Data Science – это область, требующая постоянного улучшения вашего набора skills.
Нет необходимости утверждать что свои скилы надо прорабатывать постоянно, ну или хотя бы как можно чаще.
Карьера в сфере науке о данных, требует серьезных знаний в математике, алгоритмах, программирование и т. д.
Собрали для вас guide вопросов с ответами в интервью, которые задают кандидатам во время трудоустройства в Amazon, Netflix и Google.
Не исключено что и в российских компаниях могут задать такие же questions.
Вопрос:
Что такое статистическое взаимодействие?
Материалы для ответа:
wikipedia
icbseverywhere.com
#data_science_questions
#data_science_career
#career_guide
Data Science – это область, требующая постоянного улучшения вашего набора skills.
Нет необходимости утверждать что свои скилы надо прорабатывать постоянно, ну или хотя бы как можно чаще.
Карьера в сфере науке о данных, требует серьезных знаний в математике, алгоритмах, программирование и т. д.
Собрали для вас guide вопросов с ответами в интервью, которые задают кандидатам во время трудоустройства в Amazon, Netflix и Google.
Не исключено что и в российских компаниях могут задать такие же questions.
Вопрос:
Что такое статистическое взаимодействие?
Материалы для ответа:
wikipedia
icbseverywhere.com
Wikipedia
Взаимодействие (статистика)
Взаимодействие в статистике — ситуация, когда одновременное воздействие двух и более переменных на другую переменную не является аддитивным . Как правило, взаимодействия исследуются в рамках регрессионного анализа. Присутствие взаимодействий крайне важно…
The Wisdom of Crowds
Алгоритм The Wisdom of Crowds (Мудрость Толпы) является одной из реализаций коллаборативной фильтрации. Его работа основывается на том, что группа людей обладает большими знаниями, чем индивид, в то время как каждый отдельно взятый человек может улучшить производительность группы за счет своего конкретного ввода информации.
Возьмем пример из истории. В 1906 году, во время выставки жирного скота и птицы в Западной Англии, Фрэнсис Гальтон открыл математические и статистические закономерности групповых средних оценок и их преимущества перед индивидуальными. На этом мероприятии группа оценщиков успешно обеспечила среднее значение веса быка, удивительно близкое к реальному значению.
В качестве необходимых условий работы данного алгоритма присутствуют сведения о «толпе».
Толпа должна:
быть децентрализованной, чтобы никто «сверху» не диктовал ответ толпы;
быть в состоянии составить свое собственное мнение, основанное на индивидуальных знаниях участников;
предлагать коллективный вердикт, который суммирует мнения людей;
быть независимой — когда каждый ее участник фокусируется на имеющейся информации, а не на чужих мнениях.
Одним из возможных минусов вышеописанного подхода может быть потенциальное возникновение феномена группового мышления. Участники, не обладающие достаточными знаниями, могут следовать за более осведомленными в вопросе людьми и давать похожие ответы. Также социальное влияние может привести к тому, что среднее значение ответов толпы будет неточным, в то время как среднее геометрическое и медианное — пребывать в норме. Качество предсказаний может зависеть и от формулирования вопросов — толпа в целом работает лучше, когда есть правильный ответ на поставленный вопрос, например, вопрос о географии или математике. Когда нет точного ответа, толпа может прийти к произвольным выводам.
Алгоритм The Wisdom of Crowds (Мудрость Толпы) является одной из реализаций коллаборативной фильтрации. Его работа основывается на том, что группа людей обладает большими знаниями, чем индивид, в то время как каждый отдельно взятый человек может улучшить производительность группы за счет своего конкретного ввода информации.
Возьмем пример из истории. В 1906 году, во время выставки жирного скота и птицы в Западной Англии, Фрэнсис Гальтон открыл математические и статистические закономерности групповых средних оценок и их преимущества перед индивидуальными. На этом мероприятии группа оценщиков успешно обеспечила среднее значение веса быка, удивительно близкое к реальному значению.
В качестве необходимых условий работы данного алгоритма присутствуют сведения о «толпе».
Толпа должна:
быть децентрализованной, чтобы никто «сверху» не диктовал ответ толпы;
быть в состоянии составить свое собственное мнение, основанное на индивидуальных знаниях участников;
предлагать коллективный вердикт, который суммирует мнения людей;
быть независимой — когда каждый ее участник фокусируется на имеющейся информации, а не на чужих мнениях.
Одним из возможных минусов вышеописанного подхода может быть потенциальное возникновение феномена группового мышления. Участники, не обладающие достаточными знаниями, могут следовать за более осведомленными в вопросе людьми и давать похожие ответы. Также социальное влияние может привести к тому, что среднее значение ответов толпы будет неточным, в то время как среднее геометрическое и медианное — пребывать в норме. Качество предсказаний может зависеть и от формулирования вопросов — толпа в целом работает лучше, когда есть правильный ответ на поставленный вопрос, например, вопрос о географии или математике. Когда нет точного ответа, толпа может прийти к произвольным выводам.
Самые упоротые и забавные расширения для браузера: подборка
Иногда разработчики “Желают странного” (С) А. Б. Стругацкие, из-за этого появляются необычные проекты, вроде запуска Doom на терминалах для считывания банковских карт и других, еще менее приспособленных для этого, девайсах. Чаще всего такое получается в результате тренировок, когда программист осваивает новую тему и реализует тестовый проект не в виде традиционного “Hello, Word!”, а чего-то более изощренного. Но ведь не все занимаются портированием древних шутеров на смарт-часы, есть и другие области разработки, более прикладные, но не менее интересные. Предположим, что человеку наскучило смотреть на длинные логи в консоли и grep’ать из них данные для отладки, хочется добавить интерактива и наглядности в свое обучение. Инструменты для этого выбираются самые разные, кто-то пользуется обычным графическим выводом, кто-то выводит данные через простенький сайт, а кто-то… пишет расширения для браузера!
Иногда разработчики “Желают странного” (С) А. Б. Стругацкие, из-за этого появляются необычные проекты, вроде запуска Doom на терминалах для считывания банковских карт и других, еще менее приспособленных для этого, девайсах. Чаще всего такое получается в результате тренировок, когда программист осваивает новую тему и реализует тестовый проект не в виде традиционного “Hello, Word!”, а чего-то более изощренного. Но ведь не все занимаются портированием древних шутеров на смарт-часы, есть и другие области разработки, более прикладные, но не менее интересные. Предположим, что человеку наскучило смотреть на длинные логи в консоли и grep’ать из них данные для отладки, хочется добавить интерактива и наглядности в свое обучение. Инструменты для этого выбираются самые разные, кто-то пользуется обычным графическим выводом, кто-то выводит данные через простенький сайт, а кто-то… пишет расширения для браузера!
Технологии анализа текстовой информации стремительно меняются под влиянием машинного обучения. Нейронные сети из теоретических научных исследований перешли в реальную жизнь, и анализ текста активно интегрируется в программные решения. Нейронные сети способны решать самые сложные задачи обработки естественного языка, никого не удивляет машинный перевод, «беседа» с роботом в интернет-магазине, перефразирование, ответы на вопросы и поддержание диалога. Почему же Сири, Алекса и Алиса не хотят нас понимать, Google находит не то, что мы ищем, а машинные переводчики веселят нас примерами «трудностей перевода» с китайского на албанский? Ответ кроется в мелочах — в алгоритмах, которые правильно работают в теории, но сложно реализуются на практике. Научитесь применять методы машинного обучения для анализа текста в реальных задачах, используя возможности и библиотеки Python.
Итоги 2020 года: самые интересные AI-решения и проекты
В последние годы на рынке IT наблюдается настоящий бум в области решений на базе искусственного интеллекта. И в этом нет ничего удивительного: современные вычислительные и нейросетевые технологии достигли уровня, позволяющего AI-системам решать весьма сложные для человека практические задачи, а разработчикам — создавать инновационные приложения и сервисы, демонстрирующие безграничный потенциал электронного разума.
В последние годы на рынке IT наблюдается настоящий бум в области решений на базе искусственного интеллекта. И в этом нет ничего удивительного: современные вычислительные и нейросетевые технологии достигли уровня, позволяющего AI-системам решать весьма сложные для человека практические задачи, а разработчикам — создавать инновационные приложения и сервисы, демонстрирующие безграничный потенциал электронного разума.
Ученые из MIT предложили ИИ решить проблему ядерной энергии в форме игры
В новом исследовании ученые показали, как глубокое обучение с подкреплением можно использовать для разработки более эффективных ядерных реакторов. На это их вдохновили успехи ИИ в настольных играх.
Сейчас ядерная энергия дает больше безуглеродной электроэнергии в США, чем солнечная и ветровая вместе взятые. Это делает ее ключевым игроком в борьбе с изменением климата. Однако методы ее добычи несовершенны и устаревают. Необходимо оптимизировать процесс, чтобы ядерная энергетика могла конкурировать с угольными и газовыми электростанциями на рынке.
В новом исследовании ученые показали, как глубокое обучение с подкреплением можно использовать для разработки более эффективных ядерных реакторов. На это их вдохновили успехи ИИ в настольных играх.
Сейчас ядерная энергия дает больше безуглеродной электроэнергии в США, чем солнечная и ветровая вместе взятые. Это делает ее ключевым игроком в борьбе с изменением климата. Однако методы ее добычи несовершенны и устаревают. Необходимо оптимизировать процесс, чтобы ядерная энергетика могла конкурировать с угольными и газовыми электростанциями на рынке.
Датасеты, необходимые для отработки навыков DS и создания отличного портфолио
Единственный способ изучить data science, data analysis, machine learning или темы искусственного интеллекта — это практиковаться или выполнять проекты. Альтернативы этому нет. Но по большому счету приходится тратить много времени на поиск подходящего набора данных. В этой статье ты найдешь датасеты, которые могут быть полезными новичкам. Каждый датасет привязан к определенной DS-теме.
Единственный способ изучить data science, data analysis, machine learning или темы искусственного интеллекта — это практиковаться или выполнять проекты. Альтернативы этому нет. Но по большому счету приходится тратить много времени на поиск подходящего набора данных. В этой статье ты найдешь датасеты, которые могут быть полезными новичкам. Каждый датасет привязан к определенной DS-теме.
Какая из команд применяется для чтения записей в SQL
READ - 7
👍 5%
SELECT - 145
👍👍👍👍👍👍👍👍 95%
QUERY - 1
👍 1%
👥 153 человека уже проголосовало.
READ - 7
👍 5%
SELECT - 145
👍👍👍👍👍👍👍👍 95%
QUERY - 1
👍 1%
👥 153 человека уже проголосовало.
10 лучших навыков инженеров по обработке данных в 2021 году
Инженерия данных становится все более востребованной профессией, и, несмотря на бурный 2020 год, приведенная выше диаграмма показывает, что спрос на нее больше, чем когда-либо. Из-за пандемии рабочих мест в апреле было мало, но они быстро восстановились до наступления традиционного летнего затишья, а затем спрос значительно вырос в последнем квартале 2020 года
Инженерия данных становится все более востребованной профессией, и, несмотря на бурный 2020 год, приведенная выше диаграмма показывает, что спрос на нее больше, чем когда-либо. Из-за пандемии рабочих мест в апреле было мало, но они быстро восстановились до наступления традиционного летнего затишья, а затем спрос значительно вырос в последнем квартале 2020 года
Пять вопросов на собеседовании, чтобы определить хорошего специалиста по данным
Тем из нас, кто работает в этой профессии, мы постоянно напоминаем о резкой нехватке специалистов по обработке данных .Положение будет только ухудшаться, прежде чем начнутся улучшения, поскольку спрос на такие технологии, как машинное обучение , искусственный интеллект и глубокое обучение, находится на такой восходящей стадии. В результате этого дефицита мы видим, как многие люди ощущают возможности высокооплачиваемой занятости и переходят из других профессий. В результате этого натиска проблема для работодателей очевидна: вы не всегда получаете лучших кандидатов на свои открытые должности.
Тем из нас, кто работает в этой профессии, мы постоянно напоминаем о резкой нехватке специалистов по обработке данных .Положение будет только ухудшаться, прежде чем начнутся улучшения, поскольку спрос на такие технологии, как машинное обучение , искусственный интеллект и глубокое обучение, находится на такой восходящей стадии. В результате этого дефицита мы видим, как многие люди ощущают возможности высокооплачиваемой занятости и переходят из других профессий. В результате этого натиска проблема для работодателей очевидна: вы не всегда получаете лучших кандидатов на свои открытые должности.