Фундамент в data science: экспресс-погружение в математический анализ
⠀
В прошлый раз были разобраны материалы по линейной алгебре - дисциплине, представляющей способы описания структур и объектов для хранения информации, а также некоторые методы для работы с ними. Математический анализ, в свою очередь, предоставляет средства для детального изучения и исследования этих структур.
Где это может пригодиться в машинном обучении?
* В первую очередь, для понимания процесса обучения модели. Каким образом подбираются оптимальные веса для модели? Ключевые аспекты: функция потерь и нахождение ее минимума с помощью градиентного спуска.
* Оценка модели. Модель переобучилась или недообучилась? Изменить тренировочный процесс с помощью введения регуляризации или же попробовать усложнить модель для лучшей интерполяции.
Чтобы понимать, как работают эти процессы, стоит познакомиться с необходимым минимумом.
Видео-материалы
* Производная функции
* Градиент. Вычисление производной
* Градиентная оптимизация
Визуализация приложений математического анализа (плейлист):
* Производная
* Сложные функции
* Еще один взгляд на производную
Литература с практическими примерами:
* Производная и градиент функции (аналогично на английском)
* Функции многих переменных
* Сложные функции
* Преобразования функций (аналогично на английском)
* Интенсив-курс
Конспекты в jupyter-тетрадках:
* Производная функции
* Функции многих переменных и градиент
* Дифференцирование
Для самостоятельного решения:
* Нелинейные уравнения и графики функций
* Производная функции и функции нескольких переменных
* Дифференцирование
* Исследование функции
Фундаментальная литература:
* Ильин, Позняк, Основы математического анализа (2005) — МГУ.
* Тер-Крикоров, Шабунин. Курс математического анализа (2001) — МФТИ. Содержит много примеров.
* Иванов. Лекции по математическому анализу (2000) — МФТИ. Очень короткое, но исчерпывающее изложение материала.
⠀
В прошлый раз были разобраны материалы по линейной алгебре - дисциплине, представляющей способы описания структур и объектов для хранения информации, а также некоторые методы для работы с ними. Математический анализ, в свою очередь, предоставляет средства для детального изучения и исследования этих структур.
Где это может пригодиться в машинном обучении?
* В первую очередь, для понимания процесса обучения модели. Каким образом подбираются оптимальные веса для модели? Ключевые аспекты: функция потерь и нахождение ее минимума с помощью градиентного спуска.
* Оценка модели. Модель переобучилась или недообучилась? Изменить тренировочный процесс с помощью введения регуляризации или же попробовать усложнить модель для лучшей интерполяции.
Чтобы понимать, как работают эти процессы, стоит познакомиться с необходимым минимумом.
Видео-материалы
* Производная функции
* Градиент. Вычисление производной
* Градиентная оптимизация
Визуализация приложений математического анализа (плейлист):
* Производная
* Сложные функции
* Еще один взгляд на производную
Литература с практическими примерами:
* Производная и градиент функции (аналогично на английском)
* Функции многих переменных
* Сложные функции
* Преобразования функций (аналогично на английском)
* Интенсив-курс
Конспекты в jupyter-тетрадках:
* Производная функции
* Функции многих переменных и градиент
* Дифференцирование
Для самостоятельного решения:
* Нелинейные уравнения и графики функций
* Производная функции и функции нескольких переменных
* Дифференцирование
* Исследование функции
Фундаментальная литература:
* Ильин, Позняк, Основы математического анализа (2005) — МГУ.
* Тер-Крикоров, Шабунин. Курс математического анализа (2001) — МФТИ. Содержит много примеров.
* Иванов. Лекции по математическому анализу (2000) — МФТИ. Очень короткое, но исчерпывающее изложение материала.
👍4🔥3😁2❤1
Отличие поведения предпринимателя от поведения менеджера в период кризиса
На сингапурском мероприятии CXO Seminar, на котором рассказывал про необходимость создания команды Crisis Response Team в структуре организаций, мне задали интересный вопрос, связанный с темой доклада: в чем принципиальное отличие участника команды, которая работает с кризисными ситуациями бизнеса, от участника команды управления этим бизнесом?
На него я в тот момент не ответил.
Теперь этот же вопрос напомнил о себе в новой форме в процессе обучения: в чем отличие поведения предпринимателя от поведения менеджера в период кризиса?
Чтобы вывести ответ, возьму упрощенную структуру исследований, которые проводятся для защиты кандидатских работ. Потому что считаю эту структуру проверенным стандартом для анализа любой гипотезы. Что-то вроде шаблона для синтеза нового знания:
1. формулирование гипотезы для проверки;
2. определение цели для того, чтобы подтвердить или опровергнуть гипотезу;
3. определение ключевых задач для выполнения цели;
4. поиск и анализ существующих исследований, которые имели похожую цель или схожие задачи;
5. определение ограничений существующих исследований и формирование методики для проверки гипотезы.
Сфокусируюсь на пунктах 1 и 2, а остальные оставлю исследователям.
Гипотеза: поведение предпринимателя от поведения менеджера в период кризиса отличается системой определения и принятия управленческих решений. Если упростить, то отличие скрыто где-то в том, как делается выбор между несколькими возможными вариантами событий. Не всех событий, которые возможны в развитии бизнеса, а в их ограниченном подмножестве, которое называется «кризисом».
Взгляд на кризис у каждого свой. Как пишут в нон-фикшн литературе:
Нет. Кризис - это путь к завершению бизнеса. И он одинаково понятен для всех. Без субъективных интерпретаций. Кризис = конец.
В следующем посте точнее определим понятие кризиса и сформулируем показатели для оценки гипотезы.
На сингапурском мероприятии CXO Seminar, на котором рассказывал про необходимость создания команды Crisis Response Team в структуре организаций, мне задали интересный вопрос, связанный с темой доклада: в чем принципиальное отличие участника команды, которая работает с кризисными ситуациями бизнеса, от участника команды управления этим бизнесом?
На него я в тот момент не ответил.
Теперь этот же вопрос напомнил о себе в новой форме в процессе обучения: в чем отличие поведения предпринимателя от поведения менеджера в период кризиса?
Чтобы вывести ответ, возьму упрощенную структуру исследований, которые проводятся для защиты кандидатских работ. Потому что считаю эту структуру проверенным стандартом для анализа любой гипотезы. Что-то вроде шаблона для синтеза нового знания:
1. формулирование гипотезы для проверки;
2. определение цели для того, чтобы подтвердить или опровергнуть гипотезу;
3. определение ключевых задач для выполнения цели;
4. поиск и анализ существующих исследований, которые имели похожую цель или схожие задачи;
5. определение ограничений существующих исследований и формирование методики для проверки гипотезы.
Сфокусируюсь на пунктах 1 и 2, а остальные оставлю исследователям.
Гипотеза: поведение предпринимателя от поведения менеджера в период кризиса отличается системой определения и принятия управленческих решений. Если упростить, то отличие скрыто где-то в том, как делается выбор между несколькими возможными вариантами событий. Не всех событий, которые возможны в развитии бизнеса, а в их ограниченном подмножестве, которое называется «кризисом».
Взгляд на кризис у каждого свой. Как пишут в нон-фикшн литературе:
кризис - это возможность для предпринимателя
Нет. Кризис - это путь к завершению бизнеса. И он одинаково понятен для всех. Без субъективных интерпретаций. Кризис = конец.
В следующем посте точнее определим понятие кризиса и сформулируем показатели для оценки гипотезы.
🔥8👍2❤1
Отличие поведения предпринимателя от поведения менеджера в период кризиса (2/2)
Попробуем как-то формализовать критерии «кризиса», на котором остановились в предыдущем посте. Для этого определим множество ситуаций, которые ведут организацию к концу. Сразу же вспоминаю основные события из мира ИТ, которые могут поставить на колени неподготовленный бизнес:
* нарушение целостности или доступности данных, критичных для бизнеса (например: финансовые данные компании, данные о ее клиентах, данные о партнерах);
* остановка процессов, которые реализуются с помощью ИТ-систем.
Если допустить, что эти события могут случиться не только в ИТ инфраструктуре компании, а вообще в любых аспектах ее деятельность, то «конец» уже можно формально описать. Кризис - это множество событий, которые останавливают финансовый поток коммерческой организации. При этом для многих собственников бизнеса не только остановка, но даже значительное снижение денежного потока - уже кризис. Исследовательские публикации “Exploring the Concept of Crisis in Business” и “Crisis Management Process - A Literature Review and a Conceptual Integration” подтверждают это описание.
Формальное отличие ролей «менеджер» и «предприниматель» определить легче. Оно находится не в области «психологии», и даже не в области управления рисками. Все проще: предприниматель или владелец - роль, которая инвестирует в достижение стратегических целей компании, а менеджер - наемный сотрудник этой компании. Да, есть много сценариев, при которых эти роли могут совмещаться в одном человеке (например, в семейном бизнесе), но мы не будем рассматривать эти сценарии.
В исследовании «Bank Owners or Bank Managers: Who is Keen on Risk? Evidence from the Financial Crisis» от 2013 года был определен факт: владельцы склонны к большему риску в отличии от менеджеров. В 2019 году авторы исследования «Risk attitudes and personality traits of entrepreneurs and venture team members» еще раз подтвердили эту гипотезу и доказали, что предприниматели более толерантны к риску, чем менеджеры.
Эти выводы легли в основу работы «Owners vs. Managers», в которой исследователи методом опроса собрали данные и определили разницу в отношении к бизнес-рискам (стратегическим, рыночным, финансовым и кадровым) у менеджеров и владельцев предприятий. Основной вывод: статистически подтверждено отличие в отношении к рискам между менеджером и владельцем бизнеса. Отличие заключается в более позитивном отношении предпринимателя к оценке стратегических рисков. Авторы предполагают, что именно низкая толерантность менеджеров к стратегическим рискам ведет к тому, что они принимают менее качественные стратегические решения.
Выход из кризиса - процесс стратегический, который требует оперативного принятия качественных решений. А значит, мы можем вывести две характеристики для оценки нашей гипотезы:
* скорость принятия решения в условиях кризиса (время, которое тратится на сбор информации для принятия решения);
* скорость исполнения принятого решения (временной интервал между моментом принятия решения и моментом оценки данного решения).
Используя эти характеристики, можно еще точнее сформулировать гипотезу:
Другими словами: скорость следования по маршруту «боль - анализ - прогресс» у предпринимателя выше.
Попробуем как-то формализовать критерии «кризиса», на котором остановились в предыдущем посте. Для этого определим множество ситуаций, которые ведут организацию к концу. Сразу же вспоминаю основные события из мира ИТ, которые могут поставить на колени неподготовленный бизнес:
* нарушение целостности или доступности данных, критичных для бизнеса (например: финансовые данные компании, данные о ее клиентах, данные о партнерах);
* остановка процессов, которые реализуются с помощью ИТ-систем.
Если допустить, что эти события могут случиться не только в ИТ инфраструктуре компании, а вообще в любых аспектах ее деятельность, то «конец» уже можно формально описать. Кризис - это множество событий, которые останавливают финансовый поток коммерческой организации. При этом для многих собственников бизнеса не только остановка, но даже значительное снижение денежного потока - уже кризис. Исследовательские публикации “Exploring the Concept of Crisis in Business” и “Crisis Management Process - A Literature Review and a Conceptual Integration” подтверждают это описание.
Формальное отличие ролей «менеджер» и «предприниматель» определить легче. Оно находится не в области «психологии», и даже не в области управления рисками. Все проще: предприниматель или владелец - роль, которая инвестирует в достижение стратегических целей компании, а менеджер - наемный сотрудник этой компании. Да, есть много сценариев, при которых эти роли могут совмещаться в одном человеке (например, в семейном бизнесе), но мы не будем рассматривать эти сценарии.
В исследовании «Bank Owners or Bank Managers: Who is Keen on Risk? Evidence from the Financial Crisis» от 2013 года был определен факт: владельцы склонны к большему риску в отличии от менеджеров. В 2019 году авторы исследования «Risk attitudes and personality traits of entrepreneurs and venture team members» еще раз подтвердили эту гипотезу и доказали, что предприниматели более толерантны к риску, чем менеджеры.
Эти выводы легли в основу работы «Owners vs. Managers», в которой исследователи методом опроса собрали данные и определили разницу в отношении к бизнес-рискам (стратегическим, рыночным, финансовым и кадровым) у менеджеров и владельцев предприятий. Основной вывод: статистически подтверждено отличие в отношении к рискам между менеджером и владельцем бизнеса. Отличие заключается в более позитивном отношении предпринимателя к оценке стратегических рисков. Авторы предполагают, что именно низкая толерантность менеджеров к стратегическим рискам ведет к тому, что они принимают менее качественные стратегические решения.
Выход из кризиса - процесс стратегический, который требует оперативного принятия качественных решений. А значит, мы можем вывести две характеристики для оценки нашей гипотезы:
* скорость принятия решения в условиях кризиса (время, которое тратится на сбор информации для принятия решения);
* скорость исполнения принятого решения (временной интервал между моментом принятия решения и моментом оценки данного решения).
Используя эти характеристики, можно еще точнее сформулировать гипотезу:
в условиях кризиса предприниматель быстрее принимает решение и быстрее собирает обратную связь для его оценки.
Другими словами: скорость следования по маршруту «боль - анализ - прогресс» у предпринимателя выше.
🔥4🤔2
Фундамент в data science: экспресс-погружение в математическую статистику
Ранее были разобраны материалы, посвященные линейной алгебре и математическому анализу. Эти две дисциплины формируют систему, которая способна предоставить подход к решению практически любой задачи и дает способы описания произвольных объектов для их последующего анализа.
Казалось бы, чего еще не хватает для полного счастья? Правильно: механизма оценки данных и результатов конечной модели. В этом, завершающем математический цикл, посте пойдет речь о математической статистике.
Ключевые аспекты, которые лежат в основе данного инструмента:
* Сравнение моделей
Действительно ли одна модель лучше другой другой? Или это стало случайностью?
Может показаться, что результатов на тестовой выборке достаточно, чтобы сделать окончательный вывод. Однако для полной уверенности необходимо провести проверку статистических гипотез, чтобы убедиться, что причина не в случайном факторе.
* Особенности и тенденции, скрытые в данных или feature engineering
Корреляция между двумя или более переменными может быть использована, чтобы понять, совокупность каких признаков сильнее всего влияет при обучении модели и в дальнейшем принять решение об их объединении или удалении из выборки.
* Метрики
На чем мы хотим сделать акцент при интерпритации результатов?
На среднем значении величины ошибки прогноза, где направления завышения или занижения не учитываются? Или непропорционально штрафовать большие отклонения?
Обратимся к фундаментальному минимуму для детального пониманиях этих аспектов.
Видео-материалы:
* Математическое ожидание
* Дисперсия
* Случайные величины
* Распределение случайных величин и его основная идея
* Нормальное распределение
* Корреляция и ее вычисление
Литература с практическими примерами:
* Экспресс-курс от TidyData
* Интеративный экпресс-курс от Brown University (на английском)
Конспекты в jupyter-тетрадках:
* Презентация со всеми основными понятиями статистики и соотвествующий конспект
* Среднее, медиана и мода
* Дисперсия
* Нормальное распределение
Для самостоятельного решения:
* Основные понятия статистики
* Математическое ожидание и дисперсия
* Распределение случайных величин
Фундаментальная литература:
* Кибзун, Горяинова. Теория вероятностей и математическая статистика. Базовый курс с примерами и задачами.
* Уилан. Голая статистика. Самая интересная книга о самой скучной науке.
* П. Брюс, Э. Брюс, Гедек, Практическая статистика для специалистов Data Science.
И в заключение – целый портал посвященный материалам по математической статистике.
Ранее были разобраны материалы, посвященные линейной алгебре и математическому анализу. Эти две дисциплины формируют систему, которая способна предоставить подход к решению практически любой задачи и дает способы описания произвольных объектов для их последующего анализа.
Казалось бы, чего еще не хватает для полного счастья? Правильно: механизма оценки данных и результатов конечной модели. В этом, завершающем математический цикл, посте пойдет речь о математической статистике.
Ключевые аспекты, которые лежат в основе данного инструмента:
* Сравнение моделей
Действительно ли одна модель лучше другой другой? Или это стало случайностью?
Может показаться, что результатов на тестовой выборке достаточно, чтобы сделать окончательный вывод. Однако для полной уверенности необходимо провести проверку статистических гипотез, чтобы убедиться, что причина не в случайном факторе.
* Особенности и тенденции, скрытые в данных или feature engineering
Корреляция между двумя или более переменными может быть использована, чтобы понять, совокупность каких признаков сильнее всего влияет при обучении модели и в дальнейшем принять решение об их объединении или удалении из выборки.
* Метрики
На чем мы хотим сделать акцент при интерпритации результатов?
На среднем значении величины ошибки прогноза, где направления завышения или занижения не учитываются? Или непропорционально штрафовать большие отклонения?
Обратимся к фундаментальному минимуму для детального пониманиях этих аспектов.
Видео-материалы:
* Математическое ожидание
* Дисперсия
* Случайные величины
* Распределение случайных величин и его основная идея
* Нормальное распределение
* Корреляция и ее вычисление
Литература с практическими примерами:
* Экспресс-курс от TidyData
* Интеративный экпресс-курс от Brown University (на английском)
Конспекты в jupyter-тетрадках:
* Презентация со всеми основными понятиями статистики и соотвествующий конспект
* Среднее, медиана и мода
* Дисперсия
* Нормальное распределение
Для самостоятельного решения:
* Основные понятия статистики
* Математическое ожидание и дисперсия
* Распределение случайных величин
Фундаментальная литература:
* Кибзун, Горяинова. Теория вероятностей и математическая статистика. Базовый курс с примерами и задачами.
* Уилан. Голая статистика. Самая интересная книга о самой скучной науке.
* П. Брюс, Э. Брюс, Гедек, Практическая статистика для специалистов Data Science.
И в заключение – целый портал посвященный материалам по математической статистике.
🔥4👍1
CTO Day. Часть 2: выходные в Дубае.
В прошлом году мы встречались в Сербии. В этот раз удивительное место можно описать тремя словами: жарко, мокро, ярко.
Коллеги из Яндекса собрали технологических лидеров в Дубае - центре инноваций Ближнего Востока. В ОАЭ я впервые, поэтому к впечатлениям от прогулок по музеям и выставкам, добавил инсайты:
* Чемпионов недостаточно. На круглом столе, посвященном вопросам безопасности в разработке, пришли к выводу, что программа подготовки Security Champions должна совершить эволюционный переход к программе повышения культуры разработки, в которой безопасность будет базой для каждого специалиста в команде.
* Стохастическое поведение и экономия энергии при принятии решения - это особенности работы естественной нейросети, которые обеспечивают ее выживание. И это отличиет ее от искусственной нейросетки. В докладе «Нейросети естественные и искусственные: взгляд нейробиолога» Вячеслав Дубынин описал ключевые отличия в поведении естественного интеллекта от поведения ИИ. Случайные отклонения при принятии решения позволяют организму быть непредсказуемым для хищника и обеспечивают его выживаемость в естественной среде. Возможно, эта концепция стохастического поведения может пригодиться для задач кибербезопасности.
* Дождь может затопить пустыню.
В прошлом году мы встречались в Сербии. В этот раз удивительное место можно описать тремя словами: жарко, мокро, ярко.
Коллеги из Яндекса собрали технологических лидеров в Дубае - центре инноваций Ближнего Востока. В ОАЭ я впервые, поэтому к впечатлениям от прогулок по музеям и выставкам, добавил инсайты:
* Чемпионов недостаточно. На круглом столе, посвященном вопросам безопасности в разработке, пришли к выводу, что программа подготовки Security Champions должна совершить эволюционный переход к программе повышения культуры разработки, в которой безопасность будет базой для каждого специалиста в команде.
* Стохастическое поведение и экономия энергии при принятии решения - это особенности работы естественной нейросети, которые обеспечивают ее выживание. И это отличиет ее от искусственной нейросетки. В докладе «Нейросети естественные и искусственные: взгляд нейробиолога» Вячеслав Дубынин описал ключевые отличия в поведении естественного интеллекта от поведения ИИ. Случайные отклонения при принятии решения позволяют организму быть непредсказуемым для хищника и обеспечивают его выживаемость в естественной среде. Возможно, эта концепция стохастического поведения может пригодиться для задач кибербезопасности.
* Дождь может затопить пустыню.
👍7🔥4❤2🤣1
Media is too big
VIEW IN TELEGRAM
Зашел в гости к коллегам для участия в круглом столе FinDevSecOps, а там награды вручают. За вклад в развитие сообщества, которое строит безопасносную разработку финансовых технологий и продуктов.
Мир, автоматизированный_Труд, Май!
Мир, автоматизированный_Труд, Май!
👍11🔥8❤2🤣1🍾1
Где обитает техдир
На мероприятии в Дубае познакомился с уставшим техдиром. Оказалось, что автор - совсем не уставший Глеб, рассказывает разработчикам о важности понимания бизнес-контекста их деятельности. Например, в подкасте проводит разбор метрик разработки, которые являются совершенно неоднозначными показателями эффективности.
Глеб пригласил поучаствовать в кэмпе South HUB 2024, где в июне собираются более 400 C-level и IT-лидеров, чтобы учиться, знакомиться, заниматься спортом, медитировать и саморазвиваться. Кстати, про саморазвитие: доклад «Школа выживания технического руководителя в суровом мире бизнеса» Александра Ложечкина можно точно добавлять в закладки. Опыт Александра и то, как он его упаковывает - это всегда нетривиально. Инсайт про управление энергией мне помогает до сих пор. А провокационный тезис «почему стоит стать чуть менее техническими, но чуть более руководителями» добавляет еще один доклад «Школа выживания технического руководителя в суровом мире бизнеса» в закладки.
Нетворкинг и участие в мероприятиях - еще один челлендж для технического эксперта. О том, для чего и как правильно исследователю участвовать в подобных событиях я уже рассказывал, но напомню:
* познакомиться с соавторами и партнерами своего следующего большого проекта;
* выйти «из ящика» и впитать опыт коллег;
* поделиться своими результатами с единомышленниками и получить обратную связь;
* отдохнуть от онлайна.
Поэтому буду в Сочи. Вместе с организаторами SH24 дарим промокод на скидку:
Айда со мной.
На мероприятии в Дубае познакомился с уставшим техдиром. Оказалось, что автор - совсем не уставший Глеб, рассказывает разработчикам о важности понимания бизнес-контекста их деятельности. Например, в подкасте проводит разбор метрик разработки, которые являются совершенно неоднозначными показателями эффективности.
Глеб пригласил поучаствовать в кэмпе South HUB 2024, где в июне собираются более 400 C-level и IT-лидеров, чтобы учиться, знакомиться, заниматься спортом, медитировать и саморазвиваться. Кстати, про саморазвитие: доклад «Школа выживания технического руководителя в суровом мире бизнеса» Александра Ложечкина можно точно добавлять в закладки. Опыт Александра и то, как он его упаковывает - это всегда нетривиально. Инсайт про управление энергией мне помогает до сих пор. А провокационный тезис «почему стоит стать чуть менее техническими, но чуть более руководителями» добавляет еще один доклад «Школа выживания технического руководителя в суровом мире бизнеса» в закладки.
Нетворкинг и участие в мероприятиях - еще один челлендж для технического эксперта. О том, для чего и как правильно исследователю участвовать в подобных событиях я уже рассказывал, но напомню:
* познакомиться с соавторами и партнерами своего следующего большого проекта;
* выйти «из ящика» и впитать опыт коллег;
* поделиться своими результатами с единомышленниками и получить обратную связь;
* отдохнуть от онлайна.
Поэтому буду в Сочи. Вместе с организаторами SH24 дарим промокод на скидку:
SH24MAKRUSHIN
Айда со мной.
👍5🔥4❤1🤣1🤗1🫡1
Распространение вредоносного кода через комментарии GitHub
Исследователи обнаружили троян, который распространяется под видом игровых читов и крадет инфу с зараженной станции. Сам зловред вряд ли чем-то примечателен, но интересен способ его распространения. Источник, в котором опубликован загрузчик трояна - официальные GitHub-репозитории Microsoft.
Пример URL с вредоносным кодом:
GitHub позволяет злоумышленникам обходить правила блокировки на основе черных и белых списков.
Как троян там оказался:
1. злодей создает комментарий к любому коммиту или issue в репозитории Microsoft.
2. В комментарий загружается вложение с произвольным файлом.
3. Файл будет загружен в GitHub CDN и привязан к проекту с уникальной ссылкой. Формат ссылки:
4. Комментарий может быть не опубликован, но при этом ссылка становится активной.
Атакующий может прикрепить вредоносный файл к любому репозиторию. Пока что, единственный вариант уберечь свой проект от подобного использования - отключить комментарии.
Исследователи обнаружили троян, который распространяется под видом игровых читов и крадет инфу с зараженной станции. Сам зловред вряд ли чем-то примечателен, но интересен способ его распространения. Источник, в котором опубликован загрузчик трояна - официальные GitHub-репозитории Microsoft.
Пример URL с вредоносным кодом:
https://github[.]com/microsoft/vcpkg/files/14125503/Cheat.Lab.2.7.2.zip
GitHub позволяет злоумышленникам обходить правила блокировки на основе черных и белых списков.
Как троян там оказался:
1. злодей создает комментарий к любому коммиту или issue в репозитории Microsoft.
2. В комментарий загружается вложение с произвольным файлом.
3. Файл будет загружен в GitHub CDN и привязан к проекту с уникальной ссылкой. Формат ссылки:
https://www.github.com/{project_user}/{repo_name}/files/{file_id}/{file_name}4. Комментарий может быть не опубликован, но при этом ссылка становится активной.
Атакующий может прикрепить вредоносный файл к любому репозиторию. Пока что, единственный вариант уберечь свой проект от подобного использования - отключить комментарии.
👍4🔥1👀1
IBM покупает HashiCorp. И что?
IBM объявила о приобретении компании-разработчика ПО для облачной инфраструктуры HashiCorp. Сумма сделки внушительная - $6.4млрд, но для нас интересны технологические причины этой покупки и тренды, которые она усиливает:
* усиление технологий IBM в гибридной инфраструктуре и частных облаках. Платформа ИИ Watsonx научится лучше понимать события в локальных средах.
* Совершенствование систем обеспечения и управления ресурсами в закрытых инфраструктурах.
* Движение к гиперавтоматизации всех бизнес-процессов. И это подтверждает наш прогноз, который мы делали в начале года.
Даже если IBM не изменит лицензии продуктов HashiCorp, то сообщество начнет миграцию на альтернативные opensource-продукты (здравствуй, OpenTofu). Прямо или косвенно эта сделка подтолкнет развитие программного обеспечения с открытым исходным кодом.
IBM объявила о приобретении компании-разработчика ПО для облачной инфраструктуры HashiCorp. Сумма сделки внушительная - $6.4млрд, но для нас интересны технологические причины этой покупки и тренды, которые она усиливает:
* усиление технологий IBM в гибридной инфраструктуре и частных облаках. Платформа ИИ Watsonx научится лучше понимать события в локальных средах.
* Совершенствование систем обеспечения и управления ресурсами в закрытых инфраструктурах.
* Движение к гиперавтоматизации всех бизнес-процессов. И это подтверждает наш прогноз, который мы делали в начале года.
Даже если IBM не изменит лицензии продуктов HashiCorp, то сообщество начнет миграцию на альтернативные opensource-продукты (здравствуй, OpenTofu). Прямо или косвенно эта сделка подтолкнет развитие программного обеспечения с открытым исходным кодом.
👍3🤔2🔥1🤣1
Обзор перспективных исследований
Изучил, какие гипотезы и идеи занимают умы исследователей в кибербезопасности, и подготовил подборку перспективных направлений. Заодно поделился результатами нашей исследовательской команды и освежил колонку. Делюсь.
#Дайджест @makrushin
Изучил, какие гипотезы и идеи занимают умы исследователей в кибербезопасности, и подготовил подборку перспективных направлений. Заодно поделился результатами нашей исследовательской команды и освежил колонку. Делюсь.
#Дайджест @makrushin
xakep.ru
Обзор перспективных исследований. Колонка Дениса Макрушина
Сегодня мы с тобой пройдемся по последним трендам в ИБ, посмотрим, какие новые идеи занимают умы специалистов по безопасности (в том числе моей команды) и какие публикации на эту тему можно почитать.
🔥4👍3🤣2
RSA Conference 2024: ключевые анонсы
На этой неделе прошло крупное мероприятие в ИБ. Изучаем интересные анонсы:
* ArmorCode, компания-разработчик решения класса Application Security Posture Management (ASPM), интегрировала в свою платформу ИИ для корреляции уязвимостей и ускорения обработки дефектов.
* Checkmarx выпустила функции AI Security для защиты кода, который был сгенерирован с помощью LLM. И также добавила возможности авто-исправления уязвимостей.
* Cloud Security Alliance выпустил руководство для безопасного внедрения ИИ. Опубликованы три ключевых документа, с которыми обязательно должны ознакомиться директор по информационной безопасности и руководители направлений AI: “AI Organizational Responsibilities”, “AI Resilience” и “Principles to Practice”.
* Компания Protect AI запустила базу данных уязвимостей в ИИ/ML. По мнению компании, существующие базы уязвимостей CVE и NVD не закрывают потребности в информации об уязвимых ML-моделях и проблемах ИИ.
* Стартап Torq, упомянутый здесь в контексте гиперавтоматизации, выпустил решение HyperSOC, которое добавляет аналитику силу в виде LLM для автоматизации оценки критичности угрозы, определения оптимального пути ее обработки и экскалации. «Исключить выгарание специалистов SOC» - необычная ценность, которую закладывают разработчики данной технологии.
Теперь давай найдем что-то общее во всех этих анонсах. А я пока посмотрю на мост Golden Gate где-то в Сан-Франциско неподалеку от RSA Conf 2017.
На этой неделе прошло крупное мероприятие в ИБ. Изучаем интересные анонсы:
* ArmorCode, компания-разработчик решения класса Application Security Posture Management (ASPM), интегрировала в свою платформу ИИ для корреляции уязвимостей и ускорения обработки дефектов.
* Checkmarx выпустила функции AI Security для защиты кода, который был сгенерирован с помощью LLM. И также добавила возможности авто-исправления уязвимостей.
* Cloud Security Alliance выпустил руководство для безопасного внедрения ИИ. Опубликованы три ключевых документа, с которыми обязательно должны ознакомиться директор по информационной безопасности и руководители направлений AI: “AI Organizational Responsibilities”, “AI Resilience” и “Principles to Practice”.
* Компания Protect AI запустила базу данных уязвимостей в ИИ/ML. По мнению компании, существующие базы уязвимостей CVE и NVD не закрывают потребности в информации об уязвимых ML-моделях и проблемах ИИ.
* Стартап Torq, упомянутый здесь в контексте гиперавтоматизации, выпустил решение HyperSOC, которое добавляет аналитику силу в виде LLM для автоматизации оценки критичности угрозы, определения оптимального пути ее обработки и экскалации. «Исключить выгарание специалистов SOC» - необычная ценность, которую закладывают разработчики данной технологии.
Теперь давай найдем что-то общее во всех этих анонсах. А я пока посмотрю на мост Golden Gate где-то в Сан-Франциско неподалеку от RSA Conf 2017.
👍5🔥1
Повышение уровня наблюдаемости процессов DevSecOps
Университет Карнеги-Меллона представил фреймворк Polar, который повышает наблюдаемость данных внутри платформы разработки ПО. Цель: увеличить скорость и качество управленческих решений внутри существующего DevSecOps-пайплайна.
В основе архитектуры фреймворка находится графовая БД, которая отвечает за управление данными и их представление в виде графа. В основе этого графа находится отношение между несколькими ролями, которые осуществляют работу с данными:
* Observers - компоненты, которые отвечают за мониторинг ресурсов и сред.
* Information Processors - связующие звенья, которые преобразуют необработанные данные от Observers в структурированные данные графовой БД.
* Policy Agents - ведут контроль всех компонентов системы и с помощью конфигураций обеспечивают их работу в рамках заданных параметров.
В итоге граф является моделью данных, которая показывает актуальные взаимосвязи в операционной деятельности бизнеса.
Предлагаю кейс использования: анализ существующих процессов DevSecOps для последующей оптимизации и снижения показателя “Time to Deploy”.
#Инсайт
Университет Карнеги-Меллона представил фреймворк Polar, который повышает наблюдаемость данных внутри платформы разработки ПО. Цель: увеличить скорость и качество управленческих решений внутри существующего DevSecOps-пайплайна.
В основе архитектуры фреймворка находится графовая БД, которая отвечает за управление данными и их представление в виде графа. В основе этого графа находится отношение между несколькими ролями, которые осуществляют работу с данными:
* Observers - компоненты, которые отвечают за мониторинг ресурсов и сред.
* Information Processors - связующие звенья, которые преобразуют необработанные данные от Observers в структурированные данные графовой БД.
* Policy Agents - ведут контроль всех компонентов системы и с помощью конфигураций обеспечивают их работу в рамках заданных параметров.
В итоге граф является моделью данных, которая показывает актуальные взаимосвязи в операционной деятельности бизнеса.
Предлагаю кейс использования: анализ существующих процессов DevSecOps для последующей оптимизации и снижения показателя “Time to Deploy”.
#Инсайт
👍2🔥2🤓1
Агенты LLM способны автономно эксплуатировать известные уязвимости
И делают это с вероятностью успеха 87%.
Исследователи собрали набор из 15 известных уязвимостей и скормили их описание из CVE агенту на базе разных генеративных моделей. В результате агент с GPT-4 успешно построил последовательность шагов для эксплуатации уязвимостей. А для некоторых веб-уязвимостей (XSS, SQL-inj) успешно сделал это без описания из CVE.
Это исследование подтверждает, что способности LLM подтолкнут развитие систем симуляции атак.
И делают это с вероятностью успеха 87%.
Исследователи собрали набор из 15 известных уязвимостей и скормили их описание из CVE агенту на базе разных генеративных моделей. В результате агент с GPT-4 успешно построил последовательность шагов для эксплуатации уязвимостей. А для некоторых веб-уязвимостей (XSS, SQL-inj) успешно сделал это без описания из CVE.
Это исследование подтверждает, что способности LLM подтолкнут развитие систем симуляции атак.
👍5🔥2🤣2
Два доклада на PHDays и еще больше поводов познакомиться
В эти выходные в Лужниках пройдет мероприятие, на котором проведу два доклада:
1. Захват артефактов: массовая компрометация зависимостей для первоначального доступа
В секции Secure Development подведем итоги исследований команды ART и предоставим метод и инструменты для мониторинга артефактов зависимостей в разработке, чтобы помочь снизить риск компрометации CI/CD пайплайна.
2. Исследовать угрозу, чтобы создать инновацию
Расскажу о том, кто такой исследователь, какие навыки и компетенции ему необходимо развивать и почему именно он создает инновации в защите от угроз.
Добавляй доклады в свой календарь и приходи знакомиться.
В эти выходные в Лужниках пройдет мероприятие, на котором проведу два доклада:
1. Захват артефактов: массовая компрометация зависимостей для первоначального доступа
В секции Secure Development подведем итоги исследований команды ART и предоставим метод и инструменты для мониторинга артефактов зависимостей в разработке, чтобы помочь снизить риск компрометации CI/CD пайплайна.
2. Исследовать угрозу, чтобы создать инновацию
Расскажу о том, кто такой исследователь, какие навыки и компетенции ему необходимо развивать и почему именно он создает инновации в защите от угроз.
Добавляй доклады в свой календарь и приходи знакомиться.
👍10🔥8❤3🤣2👏1
Или все же LLM не способен искать уязвимости?
В комментариях к записи прилетели два материала, один из которых является разбором оригинальной статьи с аргументированной критикой. А вот второй представляет результаты исследования возможностей LLM в задачах поиска уязвимостей:
* авторы разработали фреймворк для автоматизированной оценки способностей LLM в задачах поиска и описания уязвимостей. В основе фреймворка находятся 228 сценариев уязвимого кода на С и Python.
* Все языковые модели показали недетерминированные ответы. То есть при повторном запуске на одном и том же участке кода давали разные результаты.
* Даже если модели находили уязвимость, то давали ее некорректное описание.
* Наблюдались проблемы с устойчивостью моделей: незначительные дополнения кода вводили LLM в заблуждение.
Делаем вывод: LLM пока еще не способны автономно искать и эксплуатировать уязвимости. При этом, мой опыт исследований подсказывает, что из LLM можно сделать отличного ассистента, который и корпус для фаззинга соберет, и багу потриажит.
В комментариях к записи прилетели два материала, один из которых является разбором оригинальной статьи с аргументированной критикой. А вот второй представляет результаты исследования возможностей LLM в задачах поиска уязвимостей:
* авторы разработали фреймворк для автоматизированной оценки способностей LLM в задачах поиска и описания уязвимостей. В основе фреймворка находятся 228 сценариев уязвимого кода на С и Python.
* Все языковые модели показали недетерминированные ответы. То есть при повторном запуске на одном и том же участке кода давали разные результаты.
* Даже если модели находили уязвимость, то давали ее некорректное описание.
* Наблюдались проблемы с устойчивостью моделей: незначительные дополнения кода вводили LLM в заблуждение.
Делаем вывод: LLM пока еще не способны автономно искать и эксплуатировать уязвимости. При этом, мой опыт исследований подсказывает, что из LLM можно сделать отличного ассистента, который и корпус для фаззинга соберет, и багу потриажит.
🤔2
Уязвимости на GitHub: в библиотеке Ruby, которую скачали 250 000 раз, модулях для электронных замков и популярных играх
В предыдущей статье мы проверили публичные репозитории GitHub на уязвимость к захвату (RepoJacking). Теперь копнули глубже и поискали среди них популярные библиотеки. Мы отобрали репозитории с кодом, который был опубликован как библиотека в пакетном менеджере. Проверили эти репозитории на уязвимость и выбрали самые популярные. Вот, что нашли:
* библиотека Ruby, последнюю версию которой скачали более 250 000 раз и другие Ruby-модули, опубликованные на RubyGems;
* Python-модуль управления электронным дверным замком известного производителя;
* модули для игр Counter-Strike и Minecraft;
* модуль расширения игрового движка Godot Engine;
* образы контейнеров, опубликованные на Docker Hub.
Рекомендации для разработчика написали. Результаты исследования опубликовали.
В предыдущей статье мы проверили публичные репозитории GitHub на уязвимость к захвату (RepoJacking). Теперь копнули глубже и поискали среди них популярные библиотеки. Мы отобрали репозитории с кодом, который был опубликован как библиотека в пакетном менеджере. Проверили эти репозитории на уязвимость и выбрали самые популярные. Вот, что нашли:
* библиотека Ruby, последнюю версию которой скачали более 250 000 раз и другие Ruby-модули, опубликованные на RubyGems;
* Python-модуль управления электронным дверным замком известного производителя;
* модули для игр Counter-Strike и Minecraft;
* модуль расширения игрового движка Godot Engine;
* образы контейнеров, опубликованные на Docker Hub.
Рекомендации для разработчика написали. Результаты исследования опубликовали.
👍5🔥2❤1🍌1🤝1
Как атакующие используют ИИ: подборка сценариев
Встретил репозиторий с набором сценариев использования ИИ в реальных атаках. Автор этой коллекции сопоставил техники матрицы MITRE ATT&CK с известными случаями применения генеративных моделей в реальных атаках.
Примеры интересных кейсов:
* проведение разведки с использованием LLM: сбор и анализ информации из открытых источников о цели для точного определения поверхности атаки;
* применение LLM для ускорения процесса разработки имплантов;
* упрощение процесса исследования уязвимостей с помощью LLM.
Эти же сценарии может позаимствовать Red Team для своих задач.
Встретил репозиторий с набором сценариев использования ИИ в реальных атаках. Автор этой коллекции сопоставил техники матрицы MITRE ATT&CK с известными случаями применения генеративных моделей в реальных атаках.
Примеры интересных кейсов:
* проведение разведки с использованием LLM: сбор и анализ информации из открытых источников о цели для точного определения поверхности атаки;
* применение LLM для ускорения процесса разработки имплантов;
* упрощение процесса исследования уязвимостей с помощью LLM.
Эти же сценарии может позаимствовать Red Team для своих задач.
👍11⚡1