Возможности Deep Learning

Deep Learning занимает важнейшую роль в обществе в различных сферах деятельности и стоит в основе практически всех главных вычислительных прорывов последних нескольких лет. Сегодня сила Deep Learning помогает компьютерам превзойти способности человека.
Читать#

Почему всякому Data Scientist нужен свой Data Engineer
Data Scientist признали «самой сексуальной работой в XXI веке». The Harvard Business Review считает, что этот «гибрид дэйта-хакера, аналитика, переговорщика и доверенного советника» — редкое сочетание навыков, заслуживающих высокой зарплаты.
Слишком хорошо, чтобы быть правдой? Да, по словам Форбса. Оказывается, ученые-данные тратят большую часть своего времени (до 79%!) на работу, которую они больше всего ненавидят.

​​IDC: Половина сервисов IaaS и PaaS используется для разработки приложений, управления и анализа данными

Ключевые деловые приложения, включая CRM, ERM и SCM, в облачном варианте чаще всего приобретаются в виде SaaS-сервисов.
Более половины закупок инфраструктурных и платформенных сервисов (IaaS и PaaS) в публичных облачных средах приходится на три задачи: управление данными, разработка и тестирование приложений и анализ данных. Хотя на рабочие нагрузки, связанные с важнейшими бизнес-приложениями (CRM, ERM и SCM) идет больше средств, они приобретаются в виде программ, предоставляемых в виде сервиса (SaaS), а большинство нагрузок потокового вещания работает в виде цифровых сервисов на облачной инфраструктуре. В то же время в IDC не считают показательной долю рабочих нагрузок в виде веб-серверов, поскольку подавляющее большинство веб-серверов в облаке работает в качестве компонентов других бизнес-приложений.
Управление данными и их анализ в ближайшее время останутся наиболее распространенными рабочими нагрузками в публичных облачных системах. Это объясняется переносом в облако унаследованных программных систем, доступностью облачных машин с ускорителями вычислений и распространением сервисов с функциями искусственного интеллекта и машинного обучения. Распространение методов разработки и тестирования приложений в облаке и создания исходно рассчитанных на работу в облаке приложений тоже поддержит рост соответствующего сегмента.

​​Cоветы ИТ-специалистам

Даже будучи профессионалом своего дела, повышать свою ценность на рынке труда необходимо для достижения наилучших результатов. Так и для ИТ-специалистов: помимо основного требования - знать свои обязанности и грамотно их выполнять, существует еще ряд полезных привычек, необходимых для успешной работы.
Читать#

​​Пандемия стала катализатором революционных изменений в ИТ-индустрии

Как защитить свою ИТ-инфраструктуру для удаленной работы? Как сделать бизнес более устойчивым к глобальным потрясениям? Какие проблемы решают облачные технологии? Какие ИТ-задачи следует автоматизировать? Как использовать искусственный интеллект (ИИ), чтобы справиться с массовым увеличением вызовов?
Далее...

Нейросеть научили создавать несуществующие слова и давать им определения

Томас Димсон, программист, создавший приложение Hyperlapse для Instagram, представил свой новый проект под названием This Word Does Not Exist. Проект представляет собой нейросеть, которая придумывает несуществующие слова и даёт им определения.

​​Глубокое обучение

Люди, велосипеды, автомобили или дорога, небо, трава. Пиксели изображения представляют отдельные лица или объекты на переднем плане перед автомобилем с управлением ИИ, а какие пиксели представляют классы фона? Эта задача, известная как паноптическая сегментация, является фундаментальной проблемой, которая находит применение во многих областях, таких как автомобили с автоматическим управлением, робототехника, дополненная реальность и даже в анализе биомедицинских изображений. На факультете компьютерных наук Фрайбургского университета доктор Абхинав Валада, доцент кафедры обучения робототехнике и член BrainLinks-BrainTools, занимается этим вопросом исследования. Валада и его команда разработали современную модель искусственного интеллекта (ИИ) "EfficientPS", которая обеспечивает более быстрое и эффективное последовательное распознавание визуальных сцен.

​​Модель машинного обучения предсказывает смертность пациентов с COVID-19

Инструменты машинного обучения выбрали три биомаркера - уровни молочной дегидрогеназы, лимфоцита и высокочувствительного С-реактивного белка - которые могут предсказать смертность пациентов с COVID-19 из образцов крови 485 инфицированных людей в Ухане, Китай, согласно статье, опубликованной в Nature Machine Intelligence. Эти инструменты предсказывали смертность отдельных пациентов более чем за десять дней до их результатов с точностью более 90%.

​​ИИ разработал более справедливую налоговую систему. Нейросеть, созданная компанией Salesforce, занимается тестированием и разработкой идеальной налоговой системы в моделируемой среде.
ИИ получил название AI Economist, в его основе лежит система обучения с подкреплением: она предполагает применение вознаграждения и наказания к машинным алгоритмам с целью максимизации желаемых результатов. По тому же принципу, например, созданы алгоритмы Google DeepMind AlphaGo и AlphaZero.
Цель эксперимента — помочь правительствам во всем мире создать более справедливую систему налогообложения, говорится в сообщении компании.
«Экономическое неравенство усиливается во всем мире и вызывает растущую обеспокоенность в связи с его негативным влиянием на экономические возможности, здоровье и социальное обеспечение. Налоги являются важным инструментом правительства для сокращения неравенства. Однако поиск налоговой политики, которая оптимизирует равенство и производительность, является нерешенной проблемой. С помощью AI Economist мы хотим выяснить, как новые налоговые системы могут уменьшить неравенство, повысить производительность и в конечном итоге сделать мир лучше» Ричард Сошер, Salesforce.
Исследователи отмечают, что такой подход позволит выявить нерациональное поведение, которое экономисты часто не учитывают в своих моделях. По их словам, ИИ уже предложил сценарии, которые на 16% эффективнее существующих.

Главное отличие дата-центров от других зданий — промышленных или офисных — состоит в том, что они работают круглый год, без остановки даже на одну-две минуты. А значит — нон-стоп потребляют энергию. По данным британского научного журнала Nature, на все центры обработки данных в мире уходит около 200 ТВт·ч электроэнергии в год. Это больше, чем национальное энергопотребление некоторых не самых маленьких стран и примерно половина электричества, которое используется для транспорта во всем мире. И, конечно, далеко не всегда эта энергия производится из чистых источников: например, Китай занимает второе место по объему рынка ЦОД, но около 73% электроэнергии для них в стране получают из угля и только 23% — из возобновляемых источников энергии

​​Новый ИИ генерирует голос за 500 миллисекунд.

Социальная сеть Facebook представила высокоэффективную систему на основе ИИ, которая быстро преобразовывает текст в речь. Ее можно использовать в режиме реального времени и с использованием обычных процессоров. Исследователи рассказали о новом подходе для сбора данных — он позволил производить секунду звука за 500 миллисекунд.
Система Facebook сможет производить высококачественные голоса без необходимости использования специализированного оборудования. Специалисты компании отмечают, что система достигла 160-кратного ускорения по сравнению с аналогами. Это сделает его пригодным даже для устройств с ограниченными вычислительными возможностями.
Система Facebook состоит из четырех частей, каждая из которых фокусируется на различных аспектах речи: лингвистической, особенностях произношения, акустической модели и нейронной кодировке голоса.
ИИ преобразовывает текст в последовательность лингвистических цепочек — предложения и единицы звука, которые отличаются друг от друга в зависимости от того, в каком слове они используется. Модель также отвечает за особенности происхождения и стиль — ИИ может интерпретировать и прогнозировать ритмы речи, предложения и частоты.
Встраивание стилей позволяет системе создавать новые голоса — «мягкие», «быстрые», «формальные», при этом для их изменений требуется лишь небольшое количество данных. Для каждого стиля требуется всего 30 до 60 минут, утверждает Facebook — на порядок меньше, чем несколько часов записей, которые нужны для аналогичной системы Amazon.

Неполное понимание целевой функции

Аналитики хотят создать «лучшую» модель. Но красота в глазах видящего. Если вы не знаете, в чем заключается основная задача и целевая функция, не знаете, как модель себя ведёт, то вряд ли построите «лучшую» модель. Кроме того, задача может заключаться в улучшении бизнес-метрики, а не в построении математической функции.
Решение:  У большинства победителей Kaggle уходит много времени на понимание целевой функции и того, как с ней связаны модель и данные. Необходимо оптимизировать бизнес-метрику, сопоставьте её с соответствующей целевой функцией.
Пример: для оценки моделей классификации используется F-мера. Однажды была построена модель классификации, успех которой зависел от того, в каком проценте случаев она была правильной. Как выяснилось, F-мера вводит в заблуждение, потому что показывает, что модель была правильной примерно 60% времени, а на самом деле — только 40%.

Программировать = зарабатывать.
И почему круто быть IT специалистом. 

Uno. Ты сможешь применить свои знания в любой сфере деятельности, ведь в развивающемся мире информационщики нужны везде. 

Dos. У твоего заработка не будет верхней границы, потому что число нулей прямо пропорционально твоим навыкам. 

Tres. Абсолютно каждый сможет научиться программированию и закрепиться в сфере IT. 

Подпишись на Life in code и прокачивай свой скилл вместе с нами. Здесь тебе расскажут азы и помогут протоптать дорогу в мир IT.

Сделай первый шаг вместе с Life in code

​​Мужчина в 55 лет стал программистом

Коллега искала программистов в ит отдел, и к ней на собеседование пришел кандидат. Мужчина 60 лет, имел 5-ти летний опыт работы, и сертификаты подтверждающие его квалификацию.
Собеседование прошло стандартно, мужчина был приятным, рассказал, что раньше работал сантехником, в принципе зарабатывал неплохо, но так как уже возраст и он стал неинтересен компаниям на рынке труда, он решил сменить специальность.
А сын у него программист и предложил отцу учится. Тот сначала отнекивался мол, старый уже и все такое, но сын оказался настойчивым и стал потихоньку отцу подкидывать всякие интересные статьи по этой тематике.
По итогу он решил попробовать, рассказывал что первое время вообще ничего не понимал и были мысли бросить это дело, но сын настоял и сам подключился к обучению отца.
По итогу через некоторое время он стал что то понимать и конечно появился интерес. А когда у него получился первый его проект, то он был вне себя от счастья.
В общем по итогу стал более усердно заниматься и потом устроился на работу, удаленную. и работал только по проектам, но уже есть работы, которые он может показать.
На самом деле я восхищаюсь такими людьми, и не важно на что человек переучился, главное, что даже в таком уважаемом возрасте он не считает себя стариком и двигается дальше. мне хочется верить, что я тоже такой же буду и не буду боятся что то менять в своей жизни, причем так кардинально.
И да, его взяли в штат, потому что он хорошо сделал тестовое задание, и прошел техническое интервью, сами ребята из ит отдела были в шоке, потому что ранее не сталкивались с таким кандидатами.
Начальник отдела доволен работой, и рассказывает, что когда у Павла Сергеевича, получается, то у него прям глаза горят. Такого он давно уже не видел, чтобы сотрудники были так увлечены работой и получали истинное удовольствие от работы..

Это работает, но почему?
Аналитики хотят строить «модели». Они слышали, что xgboost и алгоритм “случайный лес” работают лучше всего и просто используют их. Они читают о глубоком обучении и думают, что, возможно, оно улучшит результат. Они бросают модели в проблему, не глядя на данные и не выдвигая гипотезы, какая модель лучше всего отражает особенности данных. Это сильно усложняет объяснение вашей работы хотя бы потому, что вы сами её не понимаете.
Решение: смотрите на данные! Поймите их характеристики и сформулируйте гипотезы о том, какие модели лучше всего их отражают.
Пример: посмотрев на данные на графике даже без запуска модели, вы увидите: x1 линейно связан с y, а x2 не имеет с ним сильно выраженной связи.

​​Распространенные мифы, которых следует опасаться в Data Science и машинном обучении

Начинающих пользователей волнует, как стать специалистом по обработке и анализу данных; руководители задаются вопросом, насколько важное влияние оказывает Data Science на бизнес. Люди, работающие в этой сфере, не могут определиться, как себя называть: Data Scientist, Data Engineer или Data Analyst.
Читать...

Вы не смотрите на данные до интерпретации

Ещё одна подобная проблема: ваши результаты могут быть обусловлены выбросами и другими артефактами. Это особенно актуально для моделей, минимизирующих суммы квадратов. Даже без выбросов возникают проблемы с балансом, отброшенными или отсутствующими значениями и другими аномалиями реальных данных, которые вы не разбирали в университете.
Решение: повторяю, смотрите на данные — это очень важно! Поймите, как их природа влияет на результат.
Пример: с выбросами наклон x1 изменился с 0,906 до -0,375!

Сделки, аналитика, персоны, анонсы - в мире технологий ежедневно происходят интересные события. 

Не утонуть в море продуктов потребления поможет канал @topit_media. Только важное, интересное и актуальное. Про бизнес, производства, стартапы, игры и людей, которые за этим стоят.

Читаем, думаем, обсуждаем в чате.

Подписываемся -> https://news.1rj.ru/str/topit_media

​​ИИ научился обнаруживать далекие галактики на нечетких снимках. Программа под названием Morpheus создана учеными из Калифорнийского университета, их работа опубликована в журнале Astrophysical Journal.
Морфология галактик от вращающихся дисковых галактик, подобных нашему Млечному пути, до аморфных эллиптических и сфероидальных галактик, может рассказать астрономам о том, как они образуются и развиваются со временем.
Крупномасштабные исследования, такие как проект LSST, который будет проводиться в обсерватории Вера-Рубина в Чили, позволят получить огромные объемы данных. В сутки LSST будет снимать более 800 панорамных снимков с помощью камеры с разрешением 3,2 млрд пикселей, захватывая все видимое небо Южного полушария два раза в неделю.
Хотя разрешение у телескопа будет довольно большим, снимки не будут очень четкими, — а на их ручной анализ уйдут десятилетия. Для автоматизации поиска объектов на снимках таких крупномасштабных исследований ученые создали ИИ Morpheus.
Для обучения нейросети ученые загрузили в нее данные крупномасштабного исследования 2015 года — снимки, на которых астрономы уже нашли более 10 тыс. галактик. Затем ИИ тренировался на поиск галактик на снимках, сделанных телескопом Hubble.
В результате система научилась анализировать объекты на снимках, отделяя их от фона и проверяя, соответствует ли их размер, форма и другие параметры предмету поиска — в данном случае далеким галактикам. Затем система сама проводит проверку на достоверность полученных данных.