Рассказ незрячего тестировщика о том, как сервисы Яндекса становятся доступнее

— Привет, меня зовут Анатолий Попко. Последние 15 лет (или около того) я работаю над тем, чтобы технологии становились доступнее для пользователей с различными ограничениями. Участвовал и продолжаю участвовать в работе разных групп и организаций, которые объясняют разработчикам технологий реальные потребности людей, пишут гайды, стандарты и так далее.

Уже много лет я сотрудничаю с Яндексом, а с прошлого года мы вместе строим единые процессы улучшения доступности в сервисах. Это бесконечный путь, всегда можно сделать лучше — текущее состояние продуктов Яндекса тоже не отражает идеальную картину. Я бы хотел рассказать об этой работе и поделиться примерами, которые можно брать и реализовывать где угодно. Поговорим о мифах, о моей работе тестировщиком цифровой доступности, да и в целом о восприятии окружающего мира.

➡️ Читайте статью на Хабре

Встречайте хендбуки Академии Яндекса — бесплатные онлайн-учебники для тех, кто хочет освоить ключевые IT-дисциплины.

Учебники подготовлены сотрудниками Яндекса и JetBrains, а также НИУ ВШЭ и Европейского университета. Python, C++, машинное обучение — выберите одно из трёх направлений и занимайтесь, когда и где удобно: никаких дедлайнов, сессии и ограничений.

Изучайте всё по порядку с самого начала или сосредоточьтесь на конкретных темах, чтобы освоить основы и восполнить пробелы. Всё — бесплатно: и теория, и практика, и проверки. От вас — только время и прилежность.

Что почитать в праздники? Собрали для вас топ-10 статей Яндекса на Хабре за 2022 год: опенсорс, железо, новые технологии.

С наступающим!

➡️ Яндекс выложил в опенсорс YDB

Опенсорсная система управления базами данных YDB — плод многолетнего опыта Яндекса в разработке систем хранения и обработки данных. Исходный код, документация, SDK и все инструменты для работы с базой опубликованы на GitHub под лицензией Apache 2.0. Развернуть базу можно как на собственных, так и на сторонних серверах — в том числе в любых облачных сервисах.

➡️ Яндекс выложил в опенсорс бету фреймворка userver

Фреймворк userver позволяет быстро создавать эффективные микросервисы на языке C++ и уже много лет активно используется в Яндекс Go, Еде, Лавке, Доставке, Маркете, финтехе и других проектах для создания высоконагруженных приложений. Для нас это важный способ поделиться опытом в разработке микросервисов, который мы накопили.

➡️ Яндекс выложил YaLM 100B — сейчас это крупнейшая GPT-подобная нейросеть в свободном доступе

Год назад мы впервые рассказали Хабру о семействе языковых моделей YaLM и их применении в Алисе и Поиске. Теперь мы выложили в свободный доступ нашу самую большую модель YaLM на 100 млрд параметров. Она обучалась 65 дней на 1,7 ТБ текстов из интернета, книг и множества других источников с помощью 800 видеокарт A100. В этой статье мы делимся не только моделью, но и нашим опытом её обучения. Вы узнаете, как удалось добиться стабильности обучения и при этом ускорить его в два раза.

➡️ Про поддержку сайтов с национальными сертификатами в Яндекс Браузере

Очень много вопросов по этой теме. Оно и понятно: информации мало, противоречивых интерпретаций много. Для нас тема защиты соединений с сайтами близка. Мы пишем на Хабре об этом уже лет восемь. Например, в своё время мы первыми поддержали DNSCrypt прямо в браузере, первыми начали предупреждать о неизвестных корневых сертификатах в системе, первыми включили шифрование трафика для незащищенных Wi-Fi-сетей.

➡️ Станция 2. Истории разработки одного из самых сложных устройств Яндекса

Яндекс Станция 2 — наше новейшее устройство, центральный элемент умного дома с Алисой. Мы полностью переосмыслили и внутренний, и внешний дизайн, добавили световой экран на верхней панели и постарались учесть опыт предыдущего поколения во множестве незаметных с первого взгляда компонентов. Поделились историями про разные аспекты hardware-разработки: поговорили об исследованиях формы комнаты микрофонами, распространении света в прозрачном материале, а ещё о генеративных анимациях и неожиданной пользе от ПЛИС.

➡️ Апериодическая решётка Яндекс Станции 2: история, 3D-модели и акустические эксперименты

Кто-то скажет, что работать над формой решётки — никому не нужный перфекционизм. Для наших инженеров это была интереснейшая задача, результаты которой повлияли на качество звука колонки, пусть и не настолько же сильно, как, скажем, подбор моделей динамиков. Только улучшение это условно-бесплатное, поскольку мы используем тот же объём пластика, разве что формы чуть сложнее привычных. В статье — история прототипирования, очень много картинок, гифок и акустических экспериментов. Трёхмерные модели решётки мы выложили на Гитхаб, подробности — в конце текста.

➡️ Яндекс выпускает DivKit — фреймворк для server-driven UI с открытым кодом

Яндекс выложил в опенсорс DivKit — фреймворк для отрисовки интерфейсов из ответа сервера. Серверная вёрстка поможет ускорить разработку: наладить отправку апдейтов от сервера разным версиям приложения, создать прототип или просто написать интерфейс один раз для нескольких платформ. Фреймворк включает в себя несколько библиотек: клиентскую часть по отрисовке интерфейсов для Android, iOS и веба, а также DSL для формирования ответа сервера на Kotlin, TypeScript и Python. Сейчас DivKit используется в приложении Яндекс, Алисе, Едадиле, Маркете, ТВ и других приложениях.

➡️ Колхоз. Большая история фермы устройств Яндекса

Все новые сервисы Яндекса, а также апдейты к существующим приложениям и сайтам нужно тестировать: на айфонах, андроидах, десктопах, умных колонках, телевизорах. Раньше часть тестировщиков работали на личных телефонах и компьютерах, а часть — использовали для тестов корпоративные девайсы. Процесс не был гибким и с трудом масштабировался. Поэтому мы сделали свою клауд-ферму устройств. Мы собрали почти 800 разных девайсов, которые теперь доступны 24/7. Кстати, называть её просто фермой было бы скучно, поэтому где-то на заре проекта мы по-доброму назвали её близким по смыслу словом «Колхоз». В статье рассказываем, с чего Колхоз начинался, как пандемия привела к неожиданному росту его популярности и что общего у макбуков с лотками для офисной бумаги.

➡️ Как Яндекс перепридумал поиск для разработчиков

У вас бывало, что открываешь поиск, ищешь что-то по программированию и не находишь ответ? Тогда эта история для вас. Она про проблему, до решения которой у нас слишком долго не доходили руки. Из поста вы узнаете, почему стандартная метрика качества поиска не учитывала интересы разработчиков и как мы её улучшили. Рассказали про новую нейросеть CS YATI, обученную понимать таких же айтишников, как и мы. Ну и про грабли на нашем пути тоже, куда без них.

➡️ Feature freeze С++23. Итоги летней встречи комитета

Традиционный отчёт Антона Полухина о встрече комитета C++, где решается будущее языка. В черновую версию C++23 добавили: std::mdspan, std::flat_map, std::flat_set, freestanding, std::print("Hello {}", "world"), форматированный вывод ranges, constexpr для bitset, std::string::substr() &&, import std;, std::start_lifetime_as, static operator(), [­[assume(x > 0)]];, 16- и 128-битные float, std::generator и очень много другого.

На этой неделе рекомендуем почитать интересную историю разработчика Яндекс Go о переносе сервиса для построения циклов заказа (например, заказа такси) со связки PostgreSQL с YT (MapReduce-системой Яндекса) на новую архитектуру с базой данных YDB.

Из статьи на Хабре вы узнаете о способах работы с базой, на примере тестового сервиса увидите, как можно проверить всё под нагрузкой и реализовать хранение данных исходного сервиса. Вам также расскажут о возможных трудностях при переезде и способах их решения.

➡️ Читайте статью на Хабре

Публикуем 5 докладов для мобильных разработчиков с конференции YaTalks 2022📱

➡️ Подводные камни локализации iOS-приложений, или Как мы локализовали Яндекс Еду

Евгений Фёдоров, iOS-разработчик Еды, рассказал об опыте локализации приложения. Как команда хардкодила русский язык и как iOS интерпретировала хардкод. Как и в какой момент iOS решает, на каком языке запустить приложение, почему в одном алерте может быть текст на трёх разных языках. Об этих и других нюансах локализации — в докладе.

➡️ Стоит ли мобильной разработке идти в опенсорс

Нередко мы создаём крутые решения, которые могут быть полезны не только нам, но и другим командам и компаниям. И, конечно, возникает мысль о том, чтобы поделиться решением со всей индустрией и выложить его в опенсорс (и заодно похвастаться). Но есть ли и другие плюсы от выкладки опенсорс? Какие сложности возникают на этом пути? Об этом мы и поговорили с нашими гостями.

➡️ Умная камера: как встроить в iOS приложение распознавание текста для незрячих

Как отличить одну упаковку с едой из доставки от другой, если ты незрячий? Для этого отлично подойдёт умная камера поискового приложения. Из доклада вы узнаете об устройстве умной камеры и задачах, которые она помогает решать незрячим пользователям.

Также наши докладчики поговорили о том, какие технологии позволяют умной камере распознавать и отслеживать объекты и текст на видеопотоке, почему используется проприетарный трекер объектов, почему для этих целей не подходят существующие ARKit/ARCore и о многом другом.

➡️ Как iOS анализирует наше здоровье: HealthKit, ResearchKit, CareKit, Activity

У нас в кармане практически весь день находится устройство, которое анализирует состояние тела и другие физические аспекты жизни. Разберёмся, какие метрики тела считывают гаджеты, как они это делают с точки зрения hardware, и как iOS-разработчики могут использовать эти данные. Поглядим на весь спектр подходящих библиотек: CareKit, ResearchKit, HealthKit и Activity. Погрузимся в примеры и рассмотрим интересные особенности, чтобы заставить это всё работать.

➡️ Как мы сделали телеметрию качества мобильного сервиса с Firebase, BigQuery и Grafana

Все видели картинки из серии «N юнит-тестов, 0 интеграционных», и почти все понимают важность всех тестов от юнит до e2e. Однако после релиза неминуемо приходят пользователи, у которых «ничего не работает». Почему? В больших приложениях есть огромное количество внешних факторов, все из которых невозможно протестировать: от плохого интернета до внезапно протухшего сертификата на одном из десятков серверов, участвующих в пользовательском сценарии.

Здесь нам на помощь приходит аналитика, которая собирается у реальных пользователей. О ней мы и поговорили: какие задачи помогает решить RTM; есть ли готовые решения RTM (в чём их плюсы и минусы); какова архитектура нашего RTM, дорого ли это и кто всё это будет поддерживать; примеры сценариев в продукте — истории успехов и провалов.

На какие вопросы отвечает разработчик на первом этапе отбора? Что ждёт его дальше? Как поступить, если ему интересны сразу несколько проектов Яндекса?

Смотрите запись YaTalks, чтобы узнать ответы. Собеседование на одну из вакансий в команде Рекламы проводилось прямо в студии.

➡️ Все наши вакансии — здесь

➡️ Мероприятия One Day Offer и Fast Track, которые пройдут в ближайшее время

Публикуем 5 докладов для бэкенд-разработчиков с конференции YaTalks 2022 📱

➡️ Блеск и нищета больших монорепозиториев

Мы уже рассказывали о монорепозитории Яндекса и о том, как мы строим процесс разработки вокруг него. В этот раз подсветили нестандартный кейс: как монорепозиторий, с его высокой связанностью кода и вирусным расползанием зависимостей, помогает, когда вы что-то из него пытаетесь вырезать.

➡️ Вредные советы для разработчиков

Владимир Маслов, руководитель команды разработки X5 Tech, прошёлся по любимым (и не всегда очевидным) способам, которыми разработчики способны сильно испортить жизнь себе и коллегам и которыми они наверняка продолжат пользоваться в 2023 году. В основе доклада — собственный практический опыт, наблюдения и полезные кейсы других разработчиков.

➡️ Структурная оптимизация реляционных баз данных

Что делать с базой данных, если вы испытываете кратный рост трафика? Проект Григория Богданова, тимлида бэкенд-разработки в Altenar, вырос с 300 до 2000 RPS. В докладе он поделился практиками, которые применяла его команда и которые позволили сохранить работоспособность, не проваливаясь в даунтайм.

Есть стандартные способы оптимизации: индексы, кэш, увеличение мощности сервера. Вы узнаете о способах изменения структуры базы, которые пользуются меньшей популярностью: денормализация, прекалькуляция и партиционирование. Рассмотрим, где эти практики могут помочь, а где — навредить.

➡️ Что сообществу разработчиков ждать от создателей баз данных

Объектно-ориентированные базы данных появляются в 80-х годах прошлого века, а распространение получают только с приходом NoSQL. Почему так происходит? Какова внутренняя логика в развитии баз данных, движков хранения, языков запросов?

Вы узнаете:
— как разработчики баз данных отвечают на запрос IT-сообщества
— почему базы данных развивались именно так, как развивались
— что нам ждать в будущем, какие перспективные разработки ведутся
— как мы, разработчики, сможем их использовать

➡️ Автоматизация пользовательских сценариев команд разработки и эксплуатации

В Яндексе выстроена система, позволяющая быстро и надёжно разворачивать новые микросервисы даже силами младших разработчиков. Вы узнаете о том, как это удалось сделать и из каких кирпичиков состоит наше решение. Также Илья Сидоров, руководитель отдела разработки Маркета, покажет, как создать сервис с нуля в режиме реального времени.

В декабре 2022 прошла новогодняя встреча SPbCTF × Яндекс. От Яндекса выступал специалист по инфобезу Данил Бельтюков: рассказал о технологии eBPF и способах её применения для defensive и offensive.

На встрече также обсудили FLIRT-сигнатуры для Rust, эксплуатацию уязвимостей поддоменов, White-Box Cryptography. Ещё погрузились в принципы работы Software-Defined Radio и особенности написания хуков для бинарников под Linux и Windows.

➡️ Программа встречи, запись доклада Данила и других спикеров

Рекомендуем!

Yet Another Security Meetup от команды безопасности Яндекса

2 февраля мы проводим Yet Another Security Meetup. Вместе с гостями из других компаний обсудим тренды и вызовы в новом году и узнаем, как организованы процессы безопасности в разных командах.

В программе:

▫️безопасность финтех-сервисов в Yandex Cloud
▫️методы защиты от современных DDoS-атак
▫️автоматизация процессов безопасности в корпорациях
▫️организация привилегированного доступа к Linux-инфраструктуре

После докладов мы вместе с гостями из Tinkoff, «Авито» и Wildberries проведём круглый стол об изменениях в приоритетах и подходах к безопасности в 2023 году.

Участие бесплатное. Мероприятие пройдёт онлайн: регистрация на странице митапа.

До встречи на Yet Another Security Meetup!

4 февраля в Екатеринбурге пройдёт конференция по Python EkbPy

Организаторы — PyCon Russia и сообщество Яндекса Pytup. После нескольких лет пандемии они впервые проведут мероприятие в родном Екатеринбурге.

У EkbPy долгая история. Несколько лет назад екатеринбургские встречи превратились в большую конференцию PyCon Russia, которая переехала в Москву. Питонисты Екатеринбурга остались без регулярных встреч, но вскоре наши коллеги из Яндекса организовали Pytup — митапы и конференции, на которые приглашали спикеров из разных городов.

В этом году PyCon и Pytup Яндекса объединились, чтобы вернуть EkbPy в Екатеринбург.

Мероприятие пройдёт 4 февраля. Среди спикеров — двое наших коллег:

▫️Михаил Хрущёв, ведущий разработчик в команде «Зелибобы», с докладом о больших языковых моделях;
▫️Андрей Гейн из Yandex Cloud с рассказом о новых веяниях в мире Python.

Полный список докладов ищите на сайте конференции.

Почувствовать сильное локальное комьюнити можно не только в Екатеринбурге: участвуйте в конференции онлайн.

13 февраля состоится третий запуск Тренировок по алгоритмам.

Они пройдут онлайн. Приглашаем участвовать олимпиадников по спортивному программированию (дивизион А) и тех, кто хочет работать в IT-компании (дивизион В). Вас ждут 6 новых лекций, задания, разборы решений и соревнования, за которые даются баллы.

▪️50 лидеров рейтинга каждого дивизиона мы пригласим на торжественное награждение в наш офис в Москве. Гостям из других городов России оплатим дорогу и проживание. Разработчикам предложим фаст-трек в Яндекс.

▪️Все участники, которые решат больше половины задач, получат сертификаты о прохождении Тренировок — они пригодятся при устройстве на работу.

📍9 февраля на YouTube-канале Академии Яндекса пройдёт трансляция, на которой мы подробнее расскажем про формат Тренировок 3.0, порешаем задачи на скорость и обсудим, как знание алгоритмов помогает пройти отбор в IT-компанию.

Зарегистрироваться на участие в Тренировках 3.0. Здесь же можно познакомиться с лекциями и заданиями прошлых Тренировок.

Эксперты Яндекса, Ozon, Авито и ivi рассказали на YaTalks про свои самые страшные, смешные и полезные провалы.

Что делать, если вы вдруг запустили ненужную фичу, сломали метрики компании или отключили дата-центр?

➡️ Ищите ответы в видео — вспоминаем одну из самых популярных дискуссий конференции, которую модерировала ведущая «Бара в большом городе» Ирина Чеснокова.

4 марта в 12:00 мы откроем сезон встреч по мобильной разработке 2023 — первым мероприятием станет Я.Субботник.

📍Мы приглашаем iOS- и Android-разработчиков на встречу в московский офис Яндекса. Кстати, не забудьте взять с собой коллег и друзей!

В этот раз на Я.Субботнике поговорим об инфраструктурных проектах — мы подготовили пять докладов от разработчиков Яндекса. Вы сможете пообщаться со спикерами, познакомиться с другими участниками и задать любые вопросы по докладу.

🖥 Для тех, кто не сможет прийти, запланирована трансляция на YouTube и в сообществе VK «Яндекс для разработчиков».

Подробная программа и регистрация по ссылке.

В этот четверг, 16 февраля, пройдёт первое мероприятие сезона 2023 для ML-сообщества — Data Dojo 🔥

Вас ждут доклады от победителей и призеров ML-соревнований и обзорный доклад про активные соревнования от Петра Ермакова, ML Brand Director Яндекса. Присоединяйтесь к онлайн-трансляции или приходите в Яндекс Музей, где пройдёт офлайн-часть мероприятия.

В перерывах можно будет познакомиться с экспонатами Яндекс Музея: порисовать с нейросетью-соавтором, посмотреть, какими были домашние компьютеры 30–40 лет назад и посетить экскурсию по офису Яндекса.

Участие бесплатное, зарегистрируйтесь, чтобы ничего не пропустить.

16 февраля в 19:00 по Москве пройдёт онлайн-встреча Российской рабочей группы по стандартизации С++ (РГ21 С++).

Приглашаем всех практикующих разработчиков С++
и энтузиастов языка присоединиться к нам.

На мероприятии обсудим новости последних встреч международного комитета по стандартизации C++, поговорим про дату выхода C23, сравним его с С20 и поделимся ожиданиями от С++26.

Руководитель РГ21 С++ Антон Полухин ответит на вопросы
о возможностях российских разработчиков влиять на развитие стандарта языка. А ещё мы вместе погенерим идеи для новых изменений!

4 марта в Ереване мы проведём митап «Большая дата» для аналитиков.

Если вы интересуетесь большими данными и хотите перенять опыт Яндекса — ждём вас! Для тех, кто не сможет присутствовать офлайн, будет онлайн-трансляция.

Вот некоторые из тем программы:

▪️ «Как мы делаем SmartCaptcha»: руководитель группы Антиробота Никита Захматов расскажет, как мы в Яндексе делаем умную капчу, как применяем ML и с какими сложностями сталкиваемся;

▪️ «Как из разработки данных сделать профитную для бизнеса продуктовую аналитику»: руководитель группы расширенной аналитики данных Дмитрий Кириллов поделится важными лайфхаками.

После докладов вы сможете пообщаться в дискуссионных зонах по интересам и обменяться опытом.

📍Трансляцию можно будет посмотреть на странице митапа и в группе ВК Яндекс для разработчиков. Очная встреча состоится в концертном зале по адресу: Ереван, улица Хачатура Абовяна, 2.

Участие бесплатное. Нужно зарегистрироваться.

До встречи!

2 марта в Ереване пройдет первая ML Party в 2023 году.

Митап можно посетить офлайн или подключиться к онлайн-трансляции.

В программе три доклада от инженеров и тимлидов Яндекса, а также ещё один от тайного гостя. Расскажем, как работают Быстрые ответы в Яндекс Поиске, как создавался визуальный поиск элементов одежды, какие вызовы приняла команда Плюс Фантех и как Яндекс Музыка рекомендует вам незнакомых исполнителей.

Участие бесплатное, пожалуйста, зарегистрируйтесь и дождитесь приглашения на площадку или прямую трансляцию.