На этой неделе Microsoft и Nvidia объявили, что обучили 1 из крупнейших и эффективных языковых моделей искусственного интеллекта(ИИ) на сегодняшний день - Megatron-Turing Natural Language Generation (MT-NLP).

MT-NLP содержит 530 миллиардов параметров, извлеченных из исторических данных и обеспечивают высокую точность в широком наборе задач, включая понимание прочитанного и выводы на естественном языке.

Обучение обошлось недёшево - процесс проходил на 560 серверах Nvidia DGX A100, каждый из которых содержал 8 графических процессоров Nvidia A100 80 ГБ. Их стоимость оценивается в миллионы долларов.

Как и другие большие языковые модели, MT-NLP поднимает вопросы о доступности передовых исследовательских подходов в машинном обучении. Затраты на обучение ИИ снизились в 100 раз с 2017 по 2019г., но общая сумма по-прежнему превышает бюджеты большинства стартапов, государств, некоммерческих организаций и тд.

Неравенство благоприятствует корпорациям и мировым сверхдержавам с исключительным доступом к ресурсам за счет более мелких игроков, укрепляя существующие преимущества.

Например, в начале октября исследователи Alibaba детализировали M6-10T - языковую модель, содержащую 10 триллионов параметров (примерно в 57 раз больше, чем GPT-3 OpenAI), обученную на 512 графических процессорах Nvidia V100 в течение 10 дней. Самый дешевый V100, доступный через Google Cloud Platform, стоит $2,28/час.

DeepMind потратила $35 млн на обучение системы китайской настольной игры Го. И когда исследователи компании разработали модель для игры в StarCraft II, они целенаправленно не использовали несколько способов создания ключевого компонента, потому что стоимость обучения была бы слишком высокой.

Точно так же OpenAI не исправила ошибку при создании GPT-3, потому что стоимость обучения сделала бы переобучение модели невозможным.

Важно отметить, что затраты на обучение могут быть завышены не только из-за технических аспектов алгоритма, но и из-за других факторов. Недавно Йоав Шохам, профессор Стэнфордского университета и сооснователь стартапа AI21 Labs, сказал, что личные и организационные факторы часто влияют на окончательную цену модели.

Тем не менее, рост стоимости обучения и хранения таких алгоритмов, как PanGu-Alpha от Huawei, HyperCLOVA от Naver и Wu Dao 2.0 Пекинской академии искусственного интеллекта, порождает целую индустрию стартапов, стремящихся оптимизировать модели без снижения точности.

На этой неделе бывший исполнительный директор Intel Навин Рао основал новую компанию MosaicML, которая предлагает услуги и методы обучения, которые повышают точность системы ИИ, одновременно, снижая затраты и экономя время. MosaicML привлек $37млн венчурного капитала, конкурирует с Codeplay Software, OctoML, Neural Magic, Deci, CoCoPie и NeuReality на рынке, который, как ожидается, будет расти экспоненциально в ближайшие годы.

Стоимость базовых операций машинного обучения за последние несколько лет снизилась. Опрос OpenAI 2020 года показал, что с 2012 года объем вычислений, необходимых для обучения модели той же производительности при классификации изображений в популярном тесте ImageNet, уменьшается в два раза каждые 16 месяцев.

Исследование Университета Массачусетса в Амхерсте показало, что с использованием подходов 2019г. обучение модели распознавания изображений с коэффициентом ошибок 5% будет стоить $100 млрд и производить столько же выбросов углерода, сколько Нью-Йорк за месяц.

Недавно издание Spectrum отлично сформулировали тренд, который нас ждёт: «Мы должны адаптировать методы глубокого обучения или столкнёмся с медленным прогрессом в будущем».

❤️‍🔥Лучшая математическая школа в нашей стране - Питерский Президентский физико-математический лицей, именно ученики этой школы взяли 2 золотые медали в Международной олимпиаде по математике Romanian Master of Mathematics в Бухаресте

Золотые медали получили:

Бахарев Иван, ученик 11 класса Президентского физико-математического лицея №239 (Санкт-Петербург);

Туревский Максим, ученик 11 класса Президентского физико-математического лицея №239 (Санкт-Петербург).

Серебряные медали получили:

Ибрагимов Айдар, выпускник Специализированного учебно-научного центра МГУ (Москва);

Сибгатуллин Данил, выпускник школы №1589 (г. Москва).

Лидерами в общем командном зачете разделили Россия и Китай.

Один из ведущих учёных в нейронауке, профессор, Александр Храмов, в подкасте доступно объясняет о том:

1. Где находится сейчас наука в изучении мозга?

2. Есть ли настоящие нейроинтерфейсы среди сегодняшних стартапов?

3. Почему нужно установить на 1 год мораторий на публикации ученых в журналах?

4. Что нужно для прорыва в исследованиях по мозгу?

Спойлер:

Выстроить систему долговременных исследований. Невозможно сделать прорыв в исследованиях мозга, если даётся мало времени.

Facebook выбрала Европу центром разработки своей метавселенной

ИТ-гигант инвестирует в создание новых 10 000 рабочих мест.

Метавселенная - новый этап онлайн- общения с использованием таких технологий, как виртуальная и дополненная реальность. В основе лежит идея большего ощущения виртуального присутствия, интерактивное взаимодействие может стать намного ближе к опыту личного взаимодействия.

Создание метавселенной откроет доступ к новым творческим, социальным и экономическим возможностям.

По мнению Facebook, у ЕС есть ряд преимуществ для инвестиций технологических компаний:

1. большой потребительский рынок,

2. первоклассные университеты,

3. высококлассные таланты.

О самой метавселенной Facebook можно прочитать здесь

Это один из самых популярных мемов в интернете по поводу оплаты лицом в московском метро. А если без шуток, то складывается ситуация, что участники проекта, которые присутствуют в организации сбора и обработки биометрических данных либо не общаются/враждуют друг с другом. Иначе это не назвать, так как комментарии они дают в СМИ разобщённые https://www.kommersant.ru/doc/5038990?from=glavnoe_4

Также странно, что никто не спрашивает у VisionLabs, как компания начала работу, с какими трудностями столкнулась, а главное, что она делает с данными людей?

Сроки по запуску электронных паспортов для граждан смещаются, ранее МВД говорили, что запуск состоится 1 декабря, сейчас на совещании в ГосДуме глава Минцифры, М. Шадаев, сказал, что запуск планируется в 3-х регионах страны до конца 2022 года. Электронный паспорт будет в формате смарт-карты и мобильного приложения с QR-кодом.

По мнению главы минцифры, М. Шадаева, паспорт гражданина в виде смарт-карты и мобильного приложения являются более безопасными, чем бумажный паспорт.

Аргумент, который он привёл - загранпаспорт уже с чипом, просто упакован в бумажный паспорт.

⚡️Bank of America прогнозирует, что рынок нейроинтерфейсов к 2030 году достигнет $5,46 млрд и предлагает наблюдать за такими компаниями как:

1. Neuralink

2. Synchron

3. Neurable

Поколение Z - это про бескорыстие и новую культуру партнёрства

4 года назад наш телеграм-канал провёл 1-ю Всероссийскую викторину по цифровой экономике для школьников «Поколение Z», после которой началось много инициатив государства и корпораций в этом направлении.

По сей день, о проекте помнят и пишут коллеги из разных изданий. Вот свежий взгляд коллег на новое поколение детей, среди комментаторов участники нашей викторины

⚡️Apple работают над технологией,которая превратит AirPods в устройства для улучшения слуха, измерения температуры тела и контроля осанки

Предлагая новые AirPods в качестве слуховых аппаратов, ИТ-гигант расширит себе объём нового рынка сбыта. Миллионы людей в мире страдают от потери слуха.

По данным источников WSJ, Apple работает над тем, чтобы сделать из AirPods устройства для улучшения слуха, измерения температуры тела и контроля осанки пользователя.

Apple уже разрабатывают прототипы AirPods, которые будут измерять температуру тела. Термометр станет вторым, что ИТ-гигант добавит к своим устройствам, включая новый датчик температуры, который появится в Apple Watch в следующем году.

Что касается эргономики, AirPods будут опираться на датчики движения в наушниках и предупреждать пользователей о сутулости и улучшать их осанку.

Эти планы показывают стремление Apple создать больше сервисов для здоровья в свои устройства, помимо Apple Watch, где сегодня существует много сервисов.

Ранее, мы писали, что у iPhone может появиться новая функция для диагностики депрессии и когнитивного спада.

Ожидается, что регулятор США (FDA) скоро представит новые правила, которые позволят продавать более дешёвые слуховые аппараты производителям без лицензии напрямую потребителям.

Вообще возможность того, что Apple предложит в будущем AirPods в качестве безрецептурных слуховых аппаратов, может изменить правила игры на рынке и сместить лидеров.

По оценкам Strategy Analytics, AirPods доминируют на мировом рынке Bluetooth-гарнитур с выручкой в $12,8 млрд в 2020 году, что в 5 раз больше, что у Bose, занимающей второе место в мире.

А зачем пилотировать в Москве и других городах 5G, если доступ будет только у держателей Android?!

Видимо, нашим российским экосистемам не хватает контроля со стороны ФАС, ЦБ. Почему пользователь должен ещё доплачивать им за их инфраструктуру?

Агрегаторы такси и доставки еды уведомили своих партнеров о внедрении сервисного сбора с каждого заказа в размере 1–4,5 руб.

ЦБ, ФАС, обратите внимание на ценообразование сервисов в экосистемах.

Видимо, скоро пользователям этих сервисов придётся обратиться в ФАС и ЦБ, многие подписчики жалуются нам последние 2 месяца на цены в Яндекс.такси и Яндекс.доставке.

У TIKTOK началась крутая конференция, как и положено этой соцсети с концерта , прямая трансляция тут

TikTok: радость - это новая валюта современности

В России TikTok создает Фонд в 100 млн руб. для своих креаторов

Креаторы смогут получить вознаграждение за создание контента.  Чтобы стать участником программы, авторы контента должны быть старше 18 лет, регулярно публиковать оригинальный  познавательный контент в полном соответствии с правилами сообщества.

В июле Цукерберг объявил, что Facebook создаёт фонд в размере $1млрд для своих креаторов в мире.

В марте мы писали, что в России 6 экосистем, где развивается креативный кластер, https://news.1rj.ru/str/blockchainRF/3857
так вот, где их вклад в развитие своих пользователей?

⚡️1-й в США ETF - фонд запущен

Комиссия по ценным бумагам США (SEC) впервые одобрила запуск ETF на биткоин, удовлетворив заявку инвестфонда ProShares (более $50 млрд под управлением).

ETF позволит участникам рынка инвестировать в биткоиновые фьючерсы. Торги стартуют на NYSE уже сегодня, 19 октября, под тикером BITO.

BITO откроет биткоин широкому кругу инвесторов с брокерскими счетами, которые освоили сделки с акциями и ETF, но не хотели бы выходить на криптовалютный рынок и заводить соответствующий аккаунт, обеспокоены отсутствием регулирования и рисками для безопасности.

⚡️В России появится телекоммуникационный рейтинг

Разработкой рейтинга займётся новый центр исследований систем обработки больших данных в области телекоммуникаций, созданный в структуре ФГУП НИИР

В начале 2022г начнётся серия обсуждений с операторами связи, а к концу 2022 года планируют представить структуру и методический аппарат для определения нового рейтинга.

По мнению главы НИИР, Олега Иванова, сегодня выделение федеральных и региональных средств на оснащение регионов телеком-оборудованием рассчитывается исходя из социально-экономического рейтинга регионов.

А анализ НИИР показал, что готовность региона обеспечить население услугами связи имеет с этим рейтингом недостаточную связь.

Один из показателей - соотношение базовых станций к плотности населения. При одном и том же уровне социально-экономического развития оно фактически может быть и 2, и 15. И наоборот, соотношение от 0 до 2 может быть у регионов с рейтингами 15 и 85.

Отсутствие четких критериев приводит к некорректному распределению финансовых средств и дальнейшему снижению темпов роста телекоммуникационной отрасли в том или ином регионе.

НИИР предлагает решить эту проблему в 3 этапа:

1. ввести показатели, учитывающие размер, географическое положение и др. особенности региона, что обеспечит сопоставимость условий при оценке развития ИКТ.

2. на основе показателей сформировать региональные критерии.

3. на основе критериев разработать методический подход к формированию единого российского телекоммуникационного рейтинга регионов.