​​📍Инцидент, одинаково сильно впечатливший программистов и экономистов, произошёл летом 2012 года. Мир ещё не отошёл от разразившегося четыре года назад экономического кризиса, а фондовый рынок США вновь затрясло. На этот раз, правда, ипотечные кредиты оказались ни при чём. У новой проблемы была точная прописка — в офисе солидного американского брокера Knight Capital Group. В прекрасный августовский день давно и успешно используемая компанией система автоматизированной торговли акциями дала сбой и всего за 45 минут выбросила на фондовый рынок более 4 млн ордеров на почти 400 млн акций. Такие объёмы американские биржи переваривали обычно за полмесяца. Неудивительно, что столь мощная интервенция тут же привела к колебанию цен на основные финансовые инструменты. «Поплыли» даже крупные эмитенты, такие как Coca-Cola и American Airlines. Сама Knight Capital в итоге потеряла более $460 млн, что с учётом инфляции равнозначно сегодняшним $600 млн.

Как позже выяснила комиссия по расследованию инцидента, виновником идеального шторма стала ошибка кода в программном обеспечении. Но некорректно работающий код — не катастрофа, а ежедневная рутина любого разработчика ПО. К буре федерального масштаба этот код привел потому, что его внедрили в систему без должного тестирования. Обновив алгоритмы на семи из восьми задействованных в торговле акциями серверах, специалисты компании отложили перезагрузку восьмого сервера. После старта торгов он продолжил работать по прежним установкам, спровоцировав внутрипрограммный конфликт. Из-за специфики настроек новый код запустился в «старой логике» и вместо корректной обработки запросов на покупку и продажу ценных бумаг начал с неимоверной скоростью тиражировать ложные ордеры на покупку.

О том, как на самом деле должны работать системы алгоритмической торговли и что ещё в этом деле может пойти не так, смотрите и слушайте на сайте «Истового инженера». Ведущий архитектор трейдинг-платформы Tbricks в Itiviti Александр Торопов рассказывает в том числе и про случай с Knight Capital.

Дальнейшая судьба компании сложилась печально. Чтобы выжить после инцидента, Knight Capital Group была вынуждена искать внешние инвестиции. Однако даже пакет поддержки в $400 млн от сочувствующих инвесторов не спас её репутацию — некогда крупнейшего брокера в США вскоре поглотил конкурент.

Смотреть 📺| Слушать 🎤

​​❓Чудеса на миражах: действительно ли галлюцинируют большие языковые модели

Бывает, нейросеть выдает информацию, никак не связанную с запросом. Ты ей про Фому, а она тебе про Ерёму. Такой эффект называют галлюцинациями, и они считаются основной проблемой больших языковых моделей с архитектурой типа трансформер (GPT-4, LLAMA и подобные).

Но действительно ли галлюцинации — главный бич LLM? Инженер по разработке ПО искусственного интеллекта в YADRO Полина Пластова и эксперт Андрей Соколов задались этим вопросом и проверили актуальность проблемы для современных предобученных LLM в вопросно-ответном сценарии. Эксперимент на собранном ими датасете они описали в новой статье.

Из текста вы узнаете:

▪Какова архитектура трансформенных моделей;
▪Что за явление называется галлюцинированием LLM в строгом определении;
▪К каким результатам приведет анализ выбранного датасета на наличие галлюцинаций;
▪Как построить простейший пороговый алгоритм для определения галлюцинаций.

Читать ➡

#AI #ML #нейротехнологии

​​🎤Первый в сезоне митап по Go в Санкт-Петербурге: построим PaaS без хардкода и научимся отлаживать приложение в проде

25 сентября пройдёт митап по разработке на Go, на котором выступят инженеры из YADRO и Avito.Tech. Встреча состоится в «Петроконгрессе», а участники из других городов смогут присоединиться к онлайн-трансляции. Регистрируйтесь, чтобы забронировать место на площадке или получить ссылку на стрим на одной из трёх платформ.

Митап откроет Даниил Подольский, эксперт по разработке ПО, глава программного комитета GolangConf и активист Go Spb. Кто выступит на встрече:

▪Артемий Андрианов, Go-разработчик в платформенной команде Common YADRO Platform, расскажет, как делал безопасную «песочницу»‎ для настройки параметров платформенного сервиса с помощью CEL;
▪Богдан Бондаренко, Go-разработчик в телеком-направлении в YADRO, объяснит, как Ginkgo и Gomega упрощают написание тестов и делают их выразительнее;
▪Павел Агалецкий, ведущий инженер в AvitoTech, поделится подходами, которые помогут с отладкой, когда приложение уже в проде.

Онлайн-участники смогут задавать вопросы спикерам в комментариях к трансляции. Для офлайн-гостей подготовили демозону с «железом» для ЦОД и телеком-операторов, код для которого пишут Go-разработчики из YADRO, а также выставку open source-инструментов из сообщества Go SPB.

Зарегистрироваться на митап ➡

#программы #go #ивент

​​🔖7 шагов к успешному техническому докладу: рекомендации эксперта

На разных этапах инженерного пути важен навык публичных выступлений: на экзамене, защите диплома или диссертации, собеседовании или презентации проекта коллегам. Опыт технических докладов не только разовьёт этот навык, но и поможет работать на репутацию в сообществе. Часто мысли о выступлении перед аудиторией вызывают скорее страх и непонимание, с чего начать. Но, если подойти к задаче последовательно, дробя её на шаги, тревоги будет гораздо меньше. А подготовка не отнимет много сил и времени.

В новой статье Роман Поборчий, консультант IT-конференций, подготовивший к выступлениям более 2 000 инженеров, рассказывает о 7 шагах, которые помогут подготовить техническое выступление на высоком уровне и войти во вкус.

Из материала вы узнаете:

▪Как придумать тему выступления неочевидными способами;
▪С кем обсудить идею доклада (спойлер: не с близким коллегой);
▪Как оформить код на слайдах, чтобы он хорошо считывался;
▪Почему немного волнения перед выступлением может быть полезно.

Читать статью ➡

#складума #мышлениеиподходы

​​​​📺Анализаторы, компиляторы, линтеры: инженеры PVS-Studio — о статическом анализе С++ кода

В гостях у ведущих Елены Лепилкиной и Антона Афанасьева — один из основателей PVS-Studio Андрей Карпов и его коллега, архитектор С++ анализатора Юрий Минаев. Андрей более 15 лет занимается статическим анализом кода, изучает качество программного обеспечения и пишет статьи о программировании на С++. Юрий глубинно дописывает и переписывает парсер и прочие внутренности C++ анализатора. За время работы Андрей и Юрий успели увидеть огромное количество самых разнообразных ошибок и столкнуться с их последствиями.

О каких ещё особенностях работы разработчика анализатора кода вы узнаете из выпуска:

▪Как устроен статический анализ и в чем главные отличия от линтера и фронтенда компилятора;
▪Почему PVS-Studio не использует LLVM;
▪Какие сложности существуют при проведении межпроцедурного и межмодульного анализа;
▪Какую метаинформацию важно хранить статическому анализатору и какие ошибки она позволяет находить;
▪Что нужно знать, чтобы попасть в команду PVS-Studio;
▪Что регулирует ГОСТ на статический анализ.

Слушать 🎤
Смотреть: YouTube 📺| Rutube 📺

#программы #подкасты #битовыемаски

​​📍Недавно мы рассказывали, как ошибка в коде обернулась для брокерской компании одномоментной потерей $460 млн. Если читали, то помните: в 2012 году это потрясло весь американский фондовый рынок. А всё из-за отказа от тестирования нового алгоритма. Сегодня, в День тестировщика, пора очередной раз признать: дебаггинг спасает IT-производителям миллиарды долларов ежегодно, при этом процесс поиска программных ошибок удивительно разнообразен.

Сам термин вошел в обиход программистов после того, как 9 сентября 1947 года в Гарварде легенда американской информатики Грейс Хоппер обнаружила мотылька внутри вычислительной машины Mark II Aiken Relay Calculator. Насекомое умудрилось застрять между контактами электромеханического реле. Хоппер сохранила «первопроходца», и теперь предок всех современных багов хранится в Смитсоновском национальном музее американской истории в Вашингтоне.

Однако первое упоминание слова «bug» как технической проблемы, как полагают исследователи, принадлежит перу Томаса Эдисона. В 1870-х годах изобретатель трудился над созданием квадруплексного (то есть позволяющего принимать четыре сигнала по одному проводу) телеграфа, и частью инновационной технологии была встроенная в его корпус «ловушка для жуков».

Сделали для вас подборку текстов «Истового инженера» про современные особенности тестирования. Читайте про то, как отлавливать баги в СХД, что требуется для автоматизации тестирования на «железе» и возможно ли имитировать процессор для его тестирования. Также ниже вы найдёте обзор на нашу собственную систему TestY, в которой могут одновременно работать 300 тестировщиков.

Тестирование hardware

➡Тестирование блочных СХД
➡Как отлавливают баги в СХД

И история решения багов, которые мы отловили на тестировании:
➡Выброс времени отклика

Про стенды для тестирования железа

➡FPGA-стенды и опыт их автоматизации
➡Как имитировать процессор, чтобы отлаживать и тестировать ПО

Тестирование software

➡Про нашу самописную систему TestY
➡Про улучшения новой версии

​​📄Утешительный прогноз: как создать модель для предсказания отказов жёстких дисков

Если вам когда-нибудь приходилось срочно заменять отказавший жёсткий диск в сервере, вы понимаете, насколько ценной была бы большая предсказуемость сбоев. Системы мониторинга помогают быстро обнаружить поломку, но не в состоянии заглянуть в будущее и сообщить о потенциальной проблеме за неделю-две до события.

Однако здесь применима «магия» машинного обучения. Инженеры по разработке ПО искусственного интеллекта в YADRO — Владислав Маркин и Андрей Соколов — решили создать модель для прогнозирования сбоев в работе HDD. Задача непростая: модели нужны данные для обучения и тренировки, а где их найти — отдельный вопрос.

Что из этого вышло, читайте в новой статье. Вы узнаете:

▪На каких данных можно натренировать прогнозную модель для HDD;
▪Что стало основой для модели инженеров YADRO;
▪Чем модель отличается от подобных моделей с открытым исходным кодом;
▪Каковы результаты тестов полученной модели на четырех моделях дисков от Seagate.

Читать статью ➡

#AI #ML #программы

Время подвести итоги вчерашнего интерактива с загадками! Спасибо большое за участие и ваши ответы. Среди тех, кто дал правильные ответы на все вопросы, мы выбрали победителей, которые получат по книге с полки Истового инженера.

➡Победителями стали: @r6l_025 и @eleectricgore. Поздравляем! Наша редакция свяжется с вами для уточнения всех деталей.

➡Подробнее о нашей «Книжной полке» можно прочитать здесь.

Следите за нашими обновлениями! :)

Правильные ответы:
1. Код-ревью
2. Бобу
3. Релиз
4. IDE
5. Линтер

​​📄Упражнения для хорошей памяти: три способа оптимизировать работу с памятью на Go с помощью memory pools

Когда программа испытывает пиковую нагрузку, она потребляет много памяти. В языке Go это «замечает» Garbage Collector, останавливает программу и освобождает память. Сервис делает свою работу, но она влияет на эффективность программы, поэтому часто возникает необходимость снизить нагрузку на GC.

Go-разработчик в YADRO Александр Иванов столкнулся с проблемой: когда по сети приходило много данных, GC фиксировал пиковое потребление памяти, останавливал программу, освобождал память и продолжал выполнять программу.

Это влияло на эффективность работы, поэтому инженер решил уменьшить количество потребляемой памяти в моменты пиковой нагрузки и протестировал несколько способов, как это сделать. В этом материале он собрал результаты поисков и рассказал, для каких проектов подойдёт та или иная реализация memory pool. Вы узнаете:

▪О принципах, по которым язык Go работает с памятью;
▪Как завести Channel Pool, поместить память в sync.Pool или создать memory arena;
▪Какие бенчмарки получились у каждого решения по итогам тестов;
▪Что стоит учесть в разработке memory pool для вашего проекта и как выбрать подходящую реализацию;
▪Какая реализация в итоге помогла решить проблему с пиковыми нагрузками.

В конце статьи найдёте ссылку на репозиторий с кодом, где автор сравнивает разные memory pools.

Читать статью ➡

#программы #go

​​📍Недавно графен нашли в образцах лунного грунта — реголита. И если для стороннего наблюдателя это просто любопытный факт, то для исследователей Луны — находка космического масштаба. Графен указывает на то, что история формирования естественного спутника Земли ещё более интригующая, чем считалось ранее. И главный интриган здесь — углерод, из атомов которого графен и состоит.

До последнего момента учёные полагали, что запасы углерода на Луне истощились ещё на этапе её зарождения 4,5 млрд лет тому назад. К таким выводам они пришли после анализа образцов реголита, доставленного на Землю американскими «Аполлонами» на рубеже 1970-х. Потребовалось полвека, чтобы в распоряжении человечества оказались новые пробы лунного грунта. Их доставил китайским минералогам зонд «Чанъэ-5». Тут-то и выяснилось, что состав реголита намного богаче установленного ранее.

Помимо многослойного природного графена, китайские специалисты обнаружили молодые образцы базальта, титановый железняк ильменит, сульфид железа и никеля пентландит, а еще катализаторы фотосинтеза. Дальнейшее изучение всех этих элементов может привести к важным прорывам в астрономии, географии, химии и материаловедении, уверяют в ведущей исследования Китайской академии наук.

➡Пока учёные совершают свои открытия, откроем и мы что-нибудь полезное. Например, статью про графен на сайте «Истового инженера» — узнаем, чем материал уникален и какие у него перспективы стать заменой кремнию в производстве полупроводников.

#цифрадня #полупроводники #промышленныйдизайн #материалы

​​❓Как устроена гибридная СХД корпоративного уровня

Способов хранить данные множество: флешка, внешний жёсткий диск, публичное облако… Но компаниям с высокими требованиями к работе с данными такое решение не подойдёт. Когда важны надёжное хранение и оперативный доступ к информации, на помощь приходят такие сложные системы, как СХД.

Главная задача разработчика систем хранения данных — найти баланс между надёжностью и производительностью. Для обеспечения первого критерия используют технологию RAID, резервирование, шифрование данных и многое другое. Высокая производительность позволяет ускорить операции ввода-вывода, минимизировать время отклика и улучшить работу пользовательских сервисов.

В новом материале ведущий инженер по разработке ПО компании YADRO Денис Довженко рассказал про системы хранения данных на примере TATLIN.UNIFIED и объяснил, как устроен каждый блок.

Статья рассчитана на новичков, которые только начинают интересоваться СХД. Из неё вы узнаете:

▪Какие бывают СХД по типу работы с данными;
▪Зачем в СХД «двойники» дисков и контроллера;
▪Что такое RAID и какие виды бывают;
▪Как выглядит страница пользователя СХД;
▪С каким трудностями сталкиваются программисты, которые разрабатывают ПО для систем хранения данных.

Читать статью ➡

#схд #джуниор #архитектура

​​📄Как технологии меняют подход к сценографии и шоу

Об этом в эксклюзивной статье для «Истового инженера» рассказал основатель дизайн-лаборатории Yakovlevsky Design Дмитрий Яковлевский.

Лаборатория Дмитрия реализует проекты по всему миру. В российском портфолио студии — сценография для шоу именитых артистов, оформление ивентов корпораций и модных домов, дизайн сцен театров, музейных пространств и ресторанов.

На примерах из своей практики Дмитрий поясняет, как меняется «рынок впечатлений» под воздействием технологий. И речь не только про качественный звук, мощное освещение и новую аппаратуру. К примеру, современные надувные декорации могут быть настолько реалистичны, что на сцене их не отличить от натуральных полнотелых объектов. Чтобы сделать такую, понадобились прорывы сразу в нескольких областях — производстве тканей, широкоформатной полиграфии, 3D-принтинге и разработке ПО, которое может просчитать все параметры надувной модели.

Другой пример — мобильные сцены, для которых нужны способные идеально синхронизироваться приводы, лёгкие, но прочные материалы, такие как алюминий и композиты, а также специальная программа, позволяющая управлять трансформацией сценического пространства.

И всё это только вершина высокотехнологичного айсберга, который держит на плаву индустрию больших ивентов. Нырнём чуть глубже вместе с экспертом — текст и яркий визуал по ссылке ниже.

➡Читать статью

#музыкальныетехнологии #artscience

​​📍Четыре в одном: почему инфраструктура CodeCheсker может стать ультимативным статическим анализатором для вашего проекта на С++

Даже код иногда требует «генеральной уборки». Особенно если это большой проект, где код переписывался много раз и разными разработчиками. С одной стороны, пусть лежит себе техническим долгом — работает же. С другой — легаси в какой-то момент может выйти боком.

С такими мыслями подступился к задаче Давид Чиковани, стажёр отдела разработки ПО поддержки сетевой аппаратной части в YADRO. Ему нужно было обнаружить ошибки в большом проекте на С++, которые пропускал компилятор. В ход пошёл коммерческий статический анализатор, но результаты были неудовлетворительными: 99% найденных проблем со статусом false-positive. Тогда Давид начал искать другие решения среди open source-продуктов и обнаружил CodeChecker — малоизвестный, но эффективный интерфейс запуска и настройки статических анализаторов.

Из текста вы узнаете:

▪Чем хорош CodeChecker и как его установить;
▪Какие анализаторы входят в инфраструктуру и все ли из них полезны;
▪Как запустить анализаторы и спарсить результаты;
▪Каких результатов добилась команда на большом проекте из 100 000 строк кода.

Читать статью ➡

#программы #языкипрограммирования #opensource

​​📖От списков покупок к заметкам для работы, обучения и жизни: с чего начать личную базу знаний

Осмысленное ведение заметок — полезный навык в современном мире, где легко потерять важное в потоке информации. Мы уже писали про то, как личные базы знаний помогают техническим специалистам в работе и обучении, а теперь расскажем про подходы к их формированию. Если вы давно хотите начать вести заметки, но не знаете с чего начать, или боитесь, что система не будет работать, новая заметка для вас.

Наталья Сагель, инженер-программист и участница Zettelkasten-сообщества, поделилась, как формировалась её система хранения информации. Наталья начинала с разрозненных папок, где лежали цитаты из книг и анекдоты, но смогла построить удобную структуру заметок. Из материала вы узнаете:

▪Какие программы для ведения заметок можно протестировать;
▪На что обратить внимание при выборе инструмента для ведения заметок;
▪Как структурировать информацию и называть папки, чтобы система стала удобной;
▪Какие методы стоит попробовать тем, кто только начинает вести заметки;
▪Можно ли дословно копировать информацию из интернета или это вредит системе.

В конце статьи — множество советов, которые помогут побороть страх чистого листа и начать собирать собственную базу знаний.

Читать статью ➡

#инженернаякультура #обучение

​​📖От Россумских до разумных: о трансформации робототехники — в новой рубрике

Чуть больше века назад чешский писатель Карел Чапек впервые использовал слово «робот» в пьесе «Россумские универсальные роботы». Описанная там концепция «искусственных людей» давно сошла со страниц и обросла программно-аппаратной материей. От безмолвных работников производственных линий до гуманоидов — кажется, в робототехнике искушенного читателя уже ничем не удивишь.

Но мы попробуем — в новой рубрике «Истового инженера», посвящённой робототехнике. Как трансформируется эта область, как развитие ИИ влияет на эту сферу, с какими проблемами сталкиваются инженеры — эти и другие вопросы мы будем затрагивать в серии материалов разного формата. Здесь будут и аналитические лонгриды, и интервью с представителями профессии, и более лёгкие статьи — про интересных «жителей» робомира.

С последних мы и начнём. В новой заметке читайте про робота от компании Machina Labs, который изготавливает крупные и сложные детали из листового металла. Например, тороидальные топливные резервуары для NASA. В отличие от своих конвейерных «сородичей» этот робот заточен не на массовое производство, а на создание уникальных деталей. Не требует дорогостоящих штампов и отдельной производственной линии.

Читать заметку ➡

#роботы #приборы