YaTalks объединяет экспертов, которые делают крутые продукты и готовы делиться своими знаниями и опытом.

Конференция закончилась, но в этом канале можно продолжить узнавать про новые технологии, подходы и полезные ресурсы. Будем анонсировать мероприятия, проводить трансляции, выкладывать видео, а также публиковать статьи и подборки для разработчиков, инженеров и других технических специалистов.

Начнём с YaC 2022: смотрите, как мы делаем Яндекс!

В этом году YaC — не фильм, а мини-сериал: 9 серий и 35 спикеров, каждый из которых рассказывает о наших сервисах, продуктах и технологиях. Выбрали для вас три самых технологичных эпизода:

1. Зачем миру опенсорс?
2. По ту сторону экрана
3. Машинное обучение

Все серии YaC 2022

Приглашаем на новогоднюю ML-тренировку Data Dojo. Она пройдёт 24 декабря с 12:00 до 16:00 по московскому времени.

Data Dojo — тренировки по машинному обучению и место встречи специалистов в сфере анализа данных. Участников ждут доклады от победителей и призёров ML-соревнований, нетворкинг, конкурс на лучший новогодний костюм, ёлка и подарки.

Присоединиться можно и онлайн, и офлайн — встреча состоится в московском офисе Яндекса. Не забудьте зарегистрироваться! Офлайн-сбор гостей начнётся в 11:00.

Зачем тратить несколько минут, чтобы сделать что-то вручную, если можно потратить несколько часов на попытки это автоматизировать? Насколько правдива эта шутка применительно к автотестам и почему с ними лучше, чем без них, мы спросили у Рустама Кенджаева — руководителя группы мобильной разработки Яндекс Маркета.

Рассказ незрячего тестировщика о том, как сервисы Яндекса становятся доступнее

— Привет, меня зовут Анатолий Попко. Последние 15 лет (или около того) я работаю над тем, чтобы технологии становились доступнее для пользователей с различными ограничениями. Участвовал и продолжаю участвовать в работе разных групп и организаций, которые объясняют разработчикам технологий реальные потребности людей, пишут гайды, стандарты и так далее.

Уже много лет я сотрудничаю с Яндексом, а с прошлого года мы вместе строим единые процессы улучшения доступности в сервисах. Это бесконечный путь, всегда можно сделать лучше — текущее состояние продуктов Яндекса тоже не отражает идеальную картину. Я бы хотел рассказать об этой работе и поделиться примерами, которые можно брать и реализовывать где угодно. Поговорим о мифах, о моей работе тестировщиком цифровой доступности, да и в целом о восприятии окружающего мира.

➡️ Читайте статью на Хабре

Встречайте хендбуки Академии Яндекса — бесплатные онлайн-учебники для тех, кто хочет освоить ключевые IT-дисциплины.

Учебники подготовлены сотрудниками Яндекса и JetBrains, а также НИУ ВШЭ и Европейского университета. Python, C++, машинное обучение — выберите одно из трёх направлений и занимайтесь, когда и где удобно: никаких дедлайнов, сессии и ограничений.

Изучайте всё по порядку с самого начала или сосредоточьтесь на конкретных темах, чтобы освоить основы и восполнить пробелы. Всё — бесплатно: и теория, и практика, и проверки. От вас — только время и прилежность.

Что почитать в праздники? Собрали для вас топ-10 статей Яндекса на Хабре за 2022 год: опенсорс, железо, новые технологии.

С наступающим!

➡️ Яндекс выложил в опенсорс YDB

Опенсорсная система управления базами данных YDB — плод многолетнего опыта Яндекса в разработке систем хранения и обработки данных. Исходный код, документация, SDK и все инструменты для работы с базой опубликованы на GitHub под лицензией Apache 2.0. Развернуть базу можно как на собственных, так и на сторонних серверах — в том числе в любых облачных сервисах.

➡️ Яндекс выложил в опенсорс бету фреймворка userver

Фреймворк userver позволяет быстро создавать эффективные микросервисы на языке C++ и уже много лет активно используется в Яндекс Go, Еде, Лавке, Доставке, Маркете, финтехе и других проектах для создания высоконагруженных приложений. Для нас это важный способ поделиться опытом в разработке микросервисов, который мы накопили.

➡️ Яндекс выложил YaLM 100B — сейчас это крупнейшая GPT-подобная нейросеть в свободном доступе

Год назад мы впервые рассказали Хабру о семействе языковых моделей YaLM и их применении в Алисе и Поиске. Теперь мы выложили в свободный доступ нашу самую большую модель YaLM на 100 млрд параметров. Она обучалась 65 дней на 1,7 ТБ текстов из интернета, книг и множества других источников с помощью 800 видеокарт A100. В этой статье мы делимся не только моделью, но и нашим опытом её обучения. Вы узнаете, как удалось добиться стабильности обучения и при этом ускорить его в два раза.

➡️ Про поддержку сайтов с национальными сертификатами в Яндекс Браузере

Очень много вопросов по этой теме. Оно и понятно: информации мало, противоречивых интерпретаций много. Для нас тема защиты соединений с сайтами близка. Мы пишем на Хабре об этом уже лет восемь. Например, в своё время мы первыми поддержали DNSCrypt прямо в браузере, первыми начали предупреждать о неизвестных корневых сертификатах в системе, первыми включили шифрование трафика для незащищенных Wi-Fi-сетей.

➡️ Станция 2. Истории разработки одного из самых сложных устройств Яндекса

Яндекс Станция 2 — наше новейшее устройство, центральный элемент умного дома с Алисой. Мы полностью переосмыслили и внутренний, и внешний дизайн, добавили световой экран на верхней панели и постарались учесть опыт предыдущего поколения во множестве незаметных с первого взгляда компонентов. Поделились историями про разные аспекты hardware-разработки: поговорили об исследованиях формы комнаты микрофонами, распространении света в прозрачном материале, а ещё о генеративных анимациях и неожиданной пользе от ПЛИС.

➡️ Апериодическая решётка Яндекс Станции 2: история, 3D-модели и акустические эксперименты

Кто-то скажет, что работать над формой решётки — никому не нужный перфекционизм. Для наших инженеров это была интереснейшая задача, результаты которой повлияли на качество звука колонки, пусть и не настолько же сильно, как, скажем, подбор моделей динамиков. Только улучшение это условно-бесплатное, поскольку мы используем тот же объём пластика, разве что формы чуть сложнее привычных. В статье — история прототипирования, очень много картинок, гифок и акустических экспериментов. Трёхмерные модели решётки мы выложили на Гитхаб, подробности — в конце текста.

➡️ Яндекс выпускает DivKit — фреймворк для server-driven UI с открытым кодом

Яндекс выложил в опенсорс DivKit — фреймворк для отрисовки интерфейсов из ответа сервера. Серверная вёрстка поможет ускорить разработку: наладить отправку апдейтов от сервера разным версиям приложения, создать прототип или просто написать интерфейс один раз для нескольких платформ. Фреймворк включает в себя несколько библиотек: клиентскую часть по отрисовке интерфейсов для Android, iOS и веба, а также DSL для формирования ответа сервера на Kotlin, TypeScript и Python. Сейчас DivKit используется в приложении Яндекс, Алисе, Едадиле, Маркете, ТВ и других приложениях.

➡️ Колхоз. Большая история фермы устройств Яндекса

Все новые сервисы Яндекса, а также апдейты к существующим приложениям и сайтам нужно тестировать: на айфонах, андроидах, десктопах, умных колонках, телевизорах. Раньше часть тестировщиков работали на личных телефонах и компьютерах, а часть — использовали для тестов корпоративные девайсы. Процесс не был гибким и с трудом масштабировался. Поэтому мы сделали свою клауд-ферму устройств. Мы собрали почти 800 разных девайсов, которые теперь доступны 24/7. Кстати, называть её просто фермой было бы скучно, поэтому где-то на заре проекта мы по-доброму назвали её близким по смыслу словом «Колхоз». В статье рассказываем, с чего Колхоз начинался, как пандемия привела к неожиданному росту его популярности и что общего у макбуков с лотками для офисной бумаги.

➡️ Как Яндекс перепридумал поиск для разработчиков

У вас бывало, что открываешь поиск, ищешь что-то по программированию и не находишь ответ? Тогда эта история для вас. Она про проблему, до решения которой у нас слишком долго не доходили руки. Из поста вы узнаете, почему стандартная метрика качества поиска не учитывала интересы разработчиков и как мы её улучшили. Рассказали про новую нейросеть CS YATI, обученную понимать таких же айтишников, как и мы. Ну и про грабли на нашем пути тоже, куда без них.

➡️ Feature freeze С++23. Итоги летней встречи комитета

Традиционный отчёт Антона Полухина о встрече комитета C++, где решается будущее языка. В черновую версию C++23 добавили: std::mdspan, std::flat_map, std::flat_set, freestanding, std::print("Hello {}", "world"), форматированный вывод ranges, constexpr для bitset, std::string::substr() &&, import std;, std::start_lifetime_as, static operator(), [­[assume(x > 0)]];, 16- и 128-битные float, std::generator и очень много другого.

На этой неделе рекомендуем почитать интересную историю разработчика Яндекс Go о переносе сервиса для построения циклов заказа (например, заказа такси) со связки PostgreSQL с YT (MapReduce-системой Яндекса) на новую архитектуру с базой данных YDB.

Из статьи на Хабре вы узнаете о способах работы с базой, на примере тестового сервиса увидите, как можно проверить всё под нагрузкой и реализовать хранение данных исходного сервиса. Вам также расскажут о возможных трудностях при переезде и способах их решения.

➡️ Читайте статью на Хабре

Публикуем 5 докладов для мобильных разработчиков с конференции YaTalks 2022📱

➡️ Подводные камни локализации iOS-приложений, или Как мы локализовали Яндекс Еду

Евгений Фёдоров, iOS-разработчик Еды, рассказал об опыте локализации приложения. Как команда хардкодила русский язык и как iOS интерпретировала хардкод. Как и в какой момент iOS решает, на каком языке запустить приложение, почему в одном алерте может быть текст на трёх разных языках. Об этих и других нюансах локализации — в докладе.

➡️ Стоит ли мобильной разработке идти в опенсорс

Нередко мы создаём крутые решения, которые могут быть полезны не только нам, но и другим командам и компаниям. И, конечно, возникает мысль о том, чтобы поделиться решением со всей индустрией и выложить его в опенсорс (и заодно похвастаться). Но есть ли и другие плюсы от выкладки опенсорс? Какие сложности возникают на этом пути? Об этом мы и поговорили с нашими гостями.

➡️ Умная камера: как встроить в iOS приложение распознавание текста для незрячих

Как отличить одну упаковку с едой из доставки от другой, если ты незрячий? Для этого отлично подойдёт умная камера поискового приложения. Из доклада вы узнаете об устройстве умной камеры и задачах, которые она помогает решать незрячим пользователям.

Также наши докладчики поговорили о том, какие технологии позволяют умной камере распознавать и отслеживать объекты и текст на видеопотоке, почему используется проприетарный трекер объектов, почему для этих целей не подходят существующие ARKit/ARCore и о многом другом.

➡️ Как iOS анализирует наше здоровье: HealthKit, ResearchKit, CareKit, Activity

У нас в кармане практически весь день находится устройство, которое анализирует состояние тела и другие физические аспекты жизни. Разберёмся, какие метрики тела считывают гаджеты, как они это делают с точки зрения hardware, и как iOS-разработчики могут использовать эти данные. Поглядим на весь спектр подходящих библиотек: CareKit, ResearchKit, HealthKit и Activity. Погрузимся в примеры и рассмотрим интересные особенности, чтобы заставить это всё работать.

➡️ Как мы сделали телеметрию качества мобильного сервиса с Firebase, BigQuery и Grafana

Все видели картинки из серии «N юнит-тестов, 0 интеграционных», и почти все понимают важность всех тестов от юнит до e2e. Однако после релиза неминуемо приходят пользователи, у которых «ничего не работает». Почему? В больших приложениях есть огромное количество внешних факторов, все из которых невозможно протестировать: от плохого интернета до внезапно протухшего сертификата на одном из десятков серверов, участвующих в пользовательском сценарии.

Здесь нам на помощь приходит аналитика, которая собирается у реальных пользователей. О ней мы и поговорили: какие задачи помогает решить RTM; есть ли готовые решения RTM (в чём их плюсы и минусы); какова архитектура нашего RTM, дорого ли это и кто всё это будет поддерживать; примеры сценариев в продукте — истории успехов и провалов.