YaTalks объединяет экспертов, которые делают крутые продукты и готовы делиться своими знаниями и опытом.

Конференция закончилась, но в этом канале можно продолжить узнавать про новые технологии, подходы и полезные ресурсы. Будем анонсировать мероприятия, проводить трансляции, выкладывать видео, а также публиковать статьи и подборки для разработчиков, инженеров и других технических специалистов.

Начнём с YaC 2022: смотрите, как мы делаем Яндекс!

В этом году YaC — не фильм, а мини-сериал: 9 серий и 35 спикеров, каждый из которых рассказывает о наших сервисах, продуктах и технологиях. Выбрали для вас три самых технологичных эпизода:

1. Зачем миру опенсорс?
2. По ту сторону экрана
3. Машинное обучение

Все серии YaC 2022

Приглашаем на новогоднюю ML-тренировку Data Dojo. Она пройдёт 24 декабря с 12:00 до 16:00 по московскому времени.

Data Dojo — тренировки по машинному обучению и место встречи специалистов в сфере анализа данных. Участников ждут доклады от победителей и призёров ML-соревнований, нетворкинг, конкурс на лучший новогодний костюм, ёлка и подарки.

Присоединиться можно и онлайн, и офлайн — встреча состоится в московском офисе Яндекса. Не забудьте зарегистрироваться! Офлайн-сбор гостей начнётся в 11:00.

Зачем тратить несколько минут, чтобы сделать что-то вручную, если можно потратить несколько часов на попытки это автоматизировать? Насколько правдива эта шутка применительно к автотестам и почему с ними лучше, чем без них, мы спросили у Рустама Кенджаева — руководителя группы мобильной разработки Яндекс Маркета.

Рассказ незрячего тестировщика о том, как сервисы Яндекса становятся доступнее

— Привет, меня зовут Анатолий Попко. Последние 15 лет (или около того) я работаю над тем, чтобы технологии становились доступнее для пользователей с различными ограничениями. Участвовал и продолжаю участвовать в работе разных групп и организаций, которые объясняют разработчикам технологий реальные потребности людей, пишут гайды, стандарты и так далее.

Уже много лет я сотрудничаю с Яндексом, а с прошлого года мы вместе строим единые процессы улучшения доступности в сервисах. Это бесконечный путь, всегда можно сделать лучше — текущее состояние продуктов Яндекса тоже не отражает идеальную картину. Я бы хотел рассказать об этой работе и поделиться примерами, которые можно брать и реализовывать где угодно. Поговорим о мифах, о моей работе тестировщиком цифровой доступности, да и в целом о восприятии окружающего мира.

➡️ Читайте статью на Хабре

Встречайте хендбуки Академии Яндекса — бесплатные онлайн-учебники для тех, кто хочет освоить ключевые IT-дисциплины.

Учебники подготовлены сотрудниками Яндекса и JetBrains, а также НИУ ВШЭ и Европейского университета. Python, C++, машинное обучение — выберите одно из трёх направлений и занимайтесь, когда и где удобно: никаких дедлайнов, сессии и ограничений.

Изучайте всё по порядку с самого начала или сосредоточьтесь на конкретных темах, чтобы освоить основы и восполнить пробелы. Всё — бесплатно: и теория, и практика, и проверки. От вас — только время и прилежность.

Что почитать в праздники? Собрали для вас топ-10 статей Яндекса на Хабре за 2022 год: опенсорс, железо, новые технологии.

С наступающим!

➡️ Яндекс выложил в опенсорс YDB

Опенсорсная система управления базами данных YDB — плод многолетнего опыта Яндекса в разработке систем хранения и обработки данных. Исходный код, документация, SDK и все инструменты для работы с базой опубликованы на GitHub под лицензией Apache 2.0. Развернуть базу можно как на собственных, так и на сторонних серверах — в том числе в любых облачных сервисах.

➡️ Яндекс выложил в опенсорс бету фреймворка userver

Фреймворк userver позволяет быстро создавать эффективные микросервисы на языке C++ и уже много лет активно используется в Яндекс Go, Еде, Лавке, Доставке, Маркете, финтехе и других проектах для создания высоконагруженных приложений. Для нас это важный способ поделиться опытом в разработке микросервисов, который мы накопили.

➡️ Яндекс выложил YaLM 100B — сейчас это крупнейшая GPT-подобная нейросеть в свободном доступе

Год назад мы впервые рассказали Хабру о семействе языковых моделей YaLM и их применении в Алисе и Поиске. Теперь мы выложили в свободный доступ нашу самую большую модель YaLM на 100 млрд параметров. Она обучалась 65 дней на 1,7 ТБ текстов из интернета, книг и множества других источников с помощью 800 видеокарт A100. В этой статье мы делимся не только моделью, но и нашим опытом её обучения. Вы узнаете, как удалось добиться стабильности обучения и при этом ускорить его в два раза.

➡️ Про поддержку сайтов с национальными сертификатами в Яндекс Браузере

Очень много вопросов по этой теме. Оно и понятно: информации мало, противоречивых интерпретаций много. Для нас тема защиты соединений с сайтами близка. Мы пишем на Хабре об этом уже лет восемь. Например, в своё время мы первыми поддержали DNSCrypt прямо в браузере, первыми начали предупреждать о неизвестных корневых сертификатах в системе, первыми включили шифрование трафика для незащищенных Wi-Fi-сетей.

➡️ Станция 2. Истории разработки одного из самых сложных устройств Яндекса

Яндекс Станция 2 — наше новейшее устройство, центральный элемент умного дома с Алисой. Мы полностью переосмыслили и внутренний, и внешний дизайн, добавили световой экран на верхней панели и постарались учесть опыт предыдущего поколения во множестве незаметных с первого взгляда компонентов. Поделились историями про разные аспекты hardware-разработки: поговорили об исследованиях формы комнаты микрофонами, распространении света в прозрачном материале, а ещё о генеративных анимациях и неожиданной пользе от ПЛИС.

➡️ Апериодическая решётка Яндекс Станции 2: история, 3D-модели и акустические эксперименты

Кто-то скажет, что работать над формой решётки — никому не нужный перфекционизм. Для наших инженеров это была интереснейшая задача, результаты которой повлияли на качество звука колонки, пусть и не настолько же сильно, как, скажем, подбор моделей динамиков. Только улучшение это условно-бесплатное, поскольку мы используем тот же объём пластика, разве что формы чуть сложнее привычных. В статье — история прототипирования, очень много картинок, гифок и акустических экспериментов. Трёхмерные модели решётки мы выложили на Гитхаб, подробности — в конце текста.

➡️ Яндекс выпускает DivKit — фреймворк для server-driven UI с открытым кодом

Яндекс выложил в опенсорс DivKit — фреймворк для отрисовки интерфейсов из ответа сервера. Серверная вёрстка поможет ускорить разработку: наладить отправку апдейтов от сервера разным версиям приложения, создать прототип или просто написать интерфейс один раз для нескольких платформ. Фреймворк включает в себя несколько библиотек: клиентскую часть по отрисовке интерфейсов для Android, iOS и веба, а также DSL для формирования ответа сервера на Kotlin, TypeScript и Python. Сейчас DivKit используется в приложении Яндекс, Алисе, Едадиле, Маркете, ТВ и других приложениях.

➡️ Колхоз. Большая история фермы устройств Яндекса

Все новые сервисы Яндекса, а также апдейты к существующим приложениям и сайтам нужно тестировать: на айфонах, андроидах, десктопах, умных колонках, телевизорах. Раньше часть тестировщиков работали на личных телефонах и компьютерах, а часть — использовали для тестов корпоративные девайсы. Процесс не был гибким и с трудом масштабировался. Поэтому мы сделали свою клауд-ферму устройств. Мы собрали почти 800 разных девайсов, которые теперь доступны 24/7. Кстати, называть её просто фермой было бы скучно, поэтому где-то на заре проекта мы по-доброму назвали её близким по смыслу словом «Колхоз». В статье рассказываем, с чего Колхоз начинался, как пандемия привела к неожиданному росту его популярности и что общего у макбуков с лотками для офисной бумаги.

➡️ Как Яндекс перепридумал поиск для разработчиков

У вас бывало, что открываешь поиск, ищешь что-то по программированию и не находишь ответ? Тогда эта история для вас. Она про проблему, до решения которой у нас слишком долго не доходили руки. Из поста вы узнаете, почему стандартная метрика качества поиска не учитывала интересы разработчиков и как мы её улучшили. Рассказали про новую нейросеть CS YATI, обученную понимать таких же айтишников, как и мы. Ну и про грабли на нашем пути тоже, куда без них.

➡️ Feature freeze С++23. Итоги летней встречи комитета

Традиционный отчёт Антона Полухина о встрече комитета C++, где решается будущее языка. В черновую версию C++23 добавили: std::mdspan, std::flat_map, std::flat_set, freestanding, std::print("Hello {}", "world"), форматированный вывод ranges, constexpr для bitset, std::string::substr() &&, import std;, std::start_lifetime_as, static operator(), [­[assume(x > 0)]];, 16- и 128-битные float, std::generator и очень много другого.

На этой неделе рекомендуем почитать интересную историю разработчика Яндекс Go о переносе сервиса для построения циклов заказа (например, заказа такси) со связки PostgreSQL с YT (MapReduce-системой Яндекса) на новую архитектуру с базой данных YDB.

Из статьи на Хабре вы узнаете о способах работы с базой, на примере тестового сервиса увидите, как можно проверить всё под нагрузкой и реализовать хранение данных исходного сервиса. Вам также расскажут о возможных трудностях при переезде и способах их решения.

➡️ Читайте статью на Хабре

Публикуем 5 докладов для мобильных разработчиков с конференции YaTalks 2022📱

➡️ Подводные камни локализации iOS-приложений, или Как мы локализовали Яндекс Еду

Евгений Фёдоров, iOS-разработчик Еды, рассказал об опыте локализации приложения. Как команда хардкодила русский язык и как iOS интерпретировала хардкод. Как и в какой момент iOS решает, на каком языке запустить приложение, почему в одном алерте может быть текст на трёх разных языках. Об этих и других нюансах локализации — в докладе.

➡️ Стоит ли мобильной разработке идти в опенсорс

Нередко мы создаём крутые решения, которые могут быть полезны не только нам, но и другим командам и компаниям. И, конечно, возникает мысль о том, чтобы поделиться решением со всей индустрией и выложить его в опенсорс (и заодно похвастаться). Но есть ли и другие плюсы от выкладки опенсорс? Какие сложности возникают на этом пути? Об этом мы и поговорили с нашими гостями.

➡️ Умная камера: как встроить в iOS приложение распознавание текста для незрячих

Как отличить одну упаковку с едой из доставки от другой, если ты незрячий? Для этого отлично подойдёт умная камера поискового приложения. Из доклада вы узнаете об устройстве умной камеры и задачах, которые она помогает решать незрячим пользователям.

Также наши докладчики поговорили о том, какие технологии позволяют умной камере распознавать и отслеживать объекты и текст на видеопотоке, почему используется проприетарный трекер объектов, почему для этих целей не подходят существующие ARKit/ARCore и о многом другом.

➡️ Как iOS анализирует наше здоровье: HealthKit, ResearchKit, CareKit, Activity

У нас в кармане практически весь день находится устройство, которое анализирует состояние тела и другие физические аспекты жизни. Разберёмся, какие метрики тела считывают гаджеты, как они это делают с точки зрения hardware, и как iOS-разработчики могут использовать эти данные. Поглядим на весь спектр подходящих библиотек: CareKit, ResearchKit, HealthKit и Activity. Погрузимся в примеры и рассмотрим интересные особенности, чтобы заставить это всё работать.

➡️ Как мы сделали телеметрию качества мобильного сервиса с Firebase, BigQuery и Grafana

Все видели картинки из серии «N юнит-тестов, 0 интеграционных», и почти все понимают важность всех тестов от юнит до e2e. Однако после релиза неминуемо приходят пользователи, у которых «ничего не работает». Почему? В больших приложениях есть огромное количество внешних факторов, все из которых невозможно протестировать: от плохого интернета до внезапно протухшего сертификата на одном из десятков серверов, участвующих в пользовательском сценарии.

Здесь нам на помощь приходит аналитика, которая собирается у реальных пользователей. О ней мы и поговорили: какие задачи помогает решить RTM; есть ли готовые решения RTM (в чём их плюсы и минусы); какова архитектура нашего RTM, дорого ли это и кто всё это будет поддерживать; примеры сценариев в продукте — истории успехов и провалов.

На какие вопросы отвечает разработчик на первом этапе отбора? Что ждёт его дальше? Как поступить, если ему интересны сразу несколько проектов Яндекса?

Смотрите запись YaTalks, чтобы узнать ответы. Собеседование на одну из вакансий в команде Рекламы проводилось прямо в студии.

➡️ Все наши вакансии — здесь

➡️ Мероприятия One Day Offer и Fast Track, которые пройдут в ближайшее время

Публикуем 5 докладов для бэкенд-разработчиков с конференции YaTalks 2022 📱

➡️ Блеск и нищета больших монорепозиториев

Мы уже рассказывали о монорепозитории Яндекса и о том, как мы строим процесс разработки вокруг него. В этот раз подсветили нестандартный кейс: как монорепозиторий, с его высокой связанностью кода и вирусным расползанием зависимостей, помогает, когда вы что-то из него пытаетесь вырезать.

➡️ Вредные советы для разработчиков

Владимир Маслов, руководитель команды разработки X5 Tech, прошёлся по любимым (и не всегда очевидным) способам, которыми разработчики способны сильно испортить жизнь себе и коллегам и которыми они наверняка продолжат пользоваться в 2023 году. В основе доклада — собственный практический опыт, наблюдения и полезные кейсы других разработчиков.

➡️ Структурная оптимизация реляционных баз данных

Что делать с базой данных, если вы испытываете кратный рост трафика? Проект Григория Богданова, тимлида бэкенд-разработки в Altenar, вырос с 300 до 2000 RPS. В докладе он поделился практиками, которые применяла его команда и которые позволили сохранить работоспособность, не проваливаясь в даунтайм.

Есть стандартные способы оптимизации: индексы, кэш, увеличение мощности сервера. Вы узнаете о способах изменения структуры базы, которые пользуются меньшей популярностью: денормализация, прекалькуляция и партиционирование. Рассмотрим, где эти практики могут помочь, а где — навредить.

➡️ Что сообществу разработчиков ждать от создателей баз данных

Объектно-ориентированные базы данных появляются в 80-х годах прошлого века, а распространение получают только с приходом NoSQL. Почему так происходит? Какова внутренняя логика в развитии баз данных, движков хранения, языков запросов?

Вы узнаете:
— как разработчики баз данных отвечают на запрос IT-сообщества
— почему базы данных развивались именно так, как развивались
— что нам ждать в будущем, какие перспективные разработки ведутся
— как мы, разработчики, сможем их использовать

➡️ Автоматизация пользовательских сценариев команд разработки и эксплуатации

В Яндексе выстроена система, позволяющая быстро и надёжно разворачивать новые микросервисы даже силами младших разработчиков. Вы узнаете о том, как это удалось сделать и из каких кирпичиков состоит наше решение. Также Илья Сидоров, руководитель отдела разработки Маркета, покажет, как создать сервис с нуля в режиме реального времени.

В декабре 2022 прошла новогодняя встреча SPbCTF × Яндекс. От Яндекса выступал специалист по инфобезу Данил Бельтюков: рассказал о технологии eBPF и способах её применения для defensive и offensive.

На встрече также обсудили FLIRT-сигнатуры для Rust, эксплуатацию уязвимостей поддоменов, White-Box Cryptography. Ещё погрузились в принципы работы Software-Defined Radio и особенности написания хуков для бинарников под Linux и Windows.

➡️ Программа встречи, запись доклада Данила и других спикеров

Рекомендуем!