#astronomy #tira #cv
"Авторы проекта попытались заменить стандартные алгоритмы анализа данных TIRA нейросетями семейства YOLO, которые применяются для поиска движущихся объектов на снимках. Версии нейросетей YOLOv5 и YOLOv8 обучили при помощи массива из 3000 снимков околоземного пространства и проверили их эффективность на примере 600 изображений с радаров, на которых были от одного до трёх частиц космического мусора.
Обе нейросети корректно обнаружили от 85 % до 97 % частиц размером от сантиметра при минимальном числе ложных срабатываний. Результат оказался выше того, что демонстрирует стандартный алгоритм TIRA. Учёные сделали вывод, что системы машинного зрения могут успешно применяться для поиска космического мусора в околоземном пространстве и для его отслеживания в реальном времени. Это поможет снизить число инцидентов, связанных с попаданием частиц космического мусора в работающие орбитальные аппараты.
По оценкам экспертов, на орбите Земли могут находиться более 170 млн частиц космического мусора."
https://3dnews.ru/1101312/neyroseti-pomogut-v-poiske-malih-chastits-kosmicheskogo-musora
"Авторы проекта попытались заменить стандартные алгоритмы анализа данных TIRA нейросетями семейства YOLO, которые применяются для поиска движущихся объектов на снимках. Версии нейросетей YOLOv5 и YOLOv8 обучили при помощи массива из 3000 снимков околоземного пространства и проверили их эффективность на примере 600 изображений с радаров, на которых были от одного до трёх частиц космического мусора.
Обе нейросети корректно обнаружили от 85 % до 97 % частиц размером от сантиметра при минимальном числе ложных срабатываний. Результат оказался выше того, что демонстрирует стандартный алгоритм TIRA. Учёные сделали вывод, что системы машинного зрения могут успешно применяться для поиска космического мусора в околоземном пространстве и для его отслеживания в реальном времени. Это поможет снизить число инцидентов, связанных с попаданием частиц космического мусора в работающие орбитальные аппараты.
По оценкам экспертов, на орбите Земли могут находиться более 170 млн частиц космического мусора."
https://3dnews.ru/1101312/neyroseti-pomogut-v-poiske-malih-chastits-kosmicheskogo-musora
3DNews - Daily Digital Digest
Нейросети помогут в поиске мелкого космического мусора
Европейские учёные предложили адаптировать популярные ИИ-алгоритмы систем машинного зрения для анализа сделанных при помощи радаров снимков околоземного пространства и обнаружения на них миниатюрных частиц космического мусора.
Forwarded from По сути
Foreign Affairs: Россия сжигает свое будущее
Построение экономики вокруг целей, отличных от улучшения качества человеческой жизни, делает экономику непродуктивной. По данным государственной статистики, в 2022 году производительность труда в РФ снизилась на 3,6 процента по сравнению с предыдущим годом. (Данные за 2023 год пока недоступны.) Интенсивное производство «металлических товаров» (правительственный эвфемизм для оружия), финансируемое в основном за счет налогоплательщиков и доходов от сырьевых товаров, делает экономику более примитивной. К настоящему времени значительная доля роста ВВП России — по некоторым оценкам, одна треть — приходится на долю военно-промышленного комплекса и связанных с ним отраслей. Президент РФ надеется, что военная промышленность будет стимулировать развитие гражданских технологий. Но эта так называемая схема конверсии уже потерпела неудачу в советские годы и в раннюю постсоветскую эпоху реформ.
Путин начал войну, чтобы изменить мировой порядок и заставить всех остальных жить по его правилам. Для этого ему нужно было позиционировать свою страну и ее зону геополитического влияния против Запада и западного проекта модернизации общества. Этими целями объясняется готовность Путина приступить к территориальной экспансии: многие другие страны идут вперед, переходя в частности на новые виды энергии именно для того, чтобы остались ресурсы на будущее. Но Россия защищает умирающую модель развития, которая требует тоталитарной и имперской идеологии, а это в свою очередь требует использования ресурсов здесь и сейчас, включая все ту же старую нефть и газ.
Для Кремля это ставка, которую стоит сделать: его дорогостоящий проект в Украине заложил минное поле под экономическое и демографическое будущее страны, но вполне возможно, что эти мины взорвутся только после того, как действующий президент РФ покинет сцену. Назовем это моделью правления короля Людовика XV: Après moi, le déluge . («После меня потоп».) Путинская война – это борьба против будущего.
По сути. Подпишись на самые важные новости.
Построение экономики вокруг целей, отличных от улучшения качества человеческой жизни, делает экономику непродуктивной. По данным государственной статистики, в 2022 году производительность труда в РФ снизилась на 3,6 процента по сравнению с предыдущим годом. (Данные за 2023 год пока недоступны.) Интенсивное производство «металлических товаров» (правительственный эвфемизм для оружия), финансируемое в основном за счет налогоплательщиков и доходов от сырьевых товаров, делает экономику более примитивной. К настоящему времени значительная доля роста ВВП России — по некоторым оценкам, одна треть — приходится на долю военно-промышленного комплекса и связанных с ним отраслей. Президент РФ надеется, что военная промышленность будет стимулировать развитие гражданских технологий. Но эта так называемая схема конверсии уже потерпела неудачу в советские годы и в раннюю постсоветскую эпоху реформ.
Путин начал войну, чтобы изменить мировой порядок и заставить всех остальных жить по его правилам. Для этого ему нужно было позиционировать свою страну и ее зону геополитического влияния против Запада и западного проекта модернизации общества. Этими целями объясняется готовность Путина приступить к территориальной экспансии: многие другие страны идут вперед, переходя в частности на новые виды энергии именно для того, чтобы остались ресурсы на будущее. Но Россия защищает умирающую модель развития, которая требует тоталитарной и имперской идеологии, а это в свою очередь требует использования ресурсов здесь и сейчас, включая все ту же старую нефть и газ.
Для Кремля это ставка, которую стоит сделать: его дорогостоящий проект в Украине заложил минное поле под экономическое и демографическое будущее страны, но вполне возможно, что эти мины взорвутся только после того, как действующий президент РФ покинет сцену. Назовем это моделью правления короля Людовика XV: Après moi, le déluge . («После меня потоп».) Путинская война – это борьба против будущего.
По сути. Подпишись на самые важные новости.
❤1
Forwarded from partially unsupervised
В разговорах с корешами сформулировал для себя нехитрую трехфакторную модель мотивации: процесс - цель - условия. Подчеркну "для себя" - вряд ли это универсальный фреймворк, но вдруг кому-то тоже зайдет. Попробую описать на примерах работы, но кажется, что обобщается и на прочие дела.
Процесс - собственно суть занятия (пилить пайплайны, читать свежие пейперы, ревьювить код джунов). Это кусок краткосрочной мотивации: писать хендлеры или делать фит-предикт обычно неинтересно, профайлить и оптимизировать обычно интересно. В моменте это драйвит, но если это единственная мотивация, в моменте рефлексии может накрыть мыслями "а нахера все это". И тут вылазит цель.
Цель - среднесрочная или долгосрочная, которая заставляет делать даже скучные вещи из пункта выше. Например, make the world a better place, или получить промо и стать архисеньором, или успешно сделать стартап и продать его за много миллионов, или обрести славу самой умной лягушки в пруду, чтобы все вокруг завороженно слушали твое "ква!"🐸. Цель совершенно необязательно высокая, срубить шальных денег и кутить с эскортницами - тоже вполне себе цель. Ради цели можно и унылыми делами заняться.
Условия - это скорее коэффициент для суммы двух предыдущих мотиваций. Офис с печеньками, приятные коллеги, годная инфраструктура - все идет сюда. Деньги в формате зарплаты (а точнее некоторого ее отклонения от среднерыночной) сюда же: ради Большой Цели можно и потерпеть -20% (на это стартаперы и покупают юных мечтателей).
Можно подобрать пример из другой сферы: я в целом люблю бегать (процесс) и хочу пробежать полумарафон (цель). Это позволяет выйти из дома даже в плохую погоду (условия) и преодолеть лень. Когда погода хорошая, а около дома большой парк, то и никаких усилий не понадобится 🏃♂️.
Напоследок про actionability: в случае фрустрации можно декомпозировать, в каком факторе просадка - так становится понятнее, что можно сделать. Где-то по мелочи улучшить условия (пофиксить flaky тесты из-за которых постоянно валится CI или купить нормальные беговые кроссовки), где-то добиться более интересных штук в моменте (шаг 0: поговорить с менеджером и хотя бы в явном виде донести свои предпочтения). С целью, конечно, сложнее всего - там малыми шагами ситуацию обычно не изменить.
Процесс - собственно суть занятия (пилить пайплайны, читать свежие пейперы, ревьювить код джунов). Это кусок краткосрочной мотивации: писать хендлеры или делать фит-предикт обычно неинтересно, профайлить и оптимизировать обычно интересно. В моменте это драйвит, но если это единственная мотивация, в моменте рефлексии может накрыть мыслями "а нахера все это". И тут вылазит цель.
Цель - среднесрочная или долгосрочная, которая заставляет делать даже скучные вещи из пункта выше. Например, make the world a better place, или получить промо и стать архисеньором, или успешно сделать стартап и продать его за много миллионов, или обрести славу самой умной лягушки в пруду, чтобы все вокруг завороженно слушали твое "ква!"🐸. Цель совершенно необязательно высокая, срубить шальных денег и кутить с эскортницами - тоже вполне себе цель. Ради цели можно и унылыми делами заняться.
Условия - это скорее коэффициент для суммы двух предыдущих мотиваций. Офис с печеньками, приятные коллеги, годная инфраструктура - все идет сюда. Деньги в формате зарплаты (а точнее некоторого ее отклонения от среднерыночной) сюда же: ради Большой Цели можно и потерпеть -20% (на это стартаперы и покупают юных мечтателей).
Можно подобрать пример из другой сферы: я в целом люблю бегать (процесс) и хочу пробежать полумарафон (цель). Это позволяет выйти из дома даже в плохую погоду (условия) и преодолеть лень. Когда погода хорошая, а около дома большой парк, то и никаких усилий не понадобится 🏃♂️.
Напоследок про actionability: в случае фрустрации можно декомпозировать, в каком факторе просадка - так становится понятнее, что можно сделать. Где-то по мелочи улучшить условия (пофиксить flaky тесты из-за которых постоянно валится CI или купить нормальные беговые кроссовки), где-то добиться более интересных штук в моменте (шаг 0: поговорить с менеджером и хотя бы в явном виде донести свои предпочтения). С целью, конечно, сложнее всего - там малыми шагами ситуацию обычно не изменить.
#earlystopping #pipelines #boostings
При тестировании отборщиков признаков в конвейере (а это, по идее, лучшая практика) вдруг осознал, что из 3-х основных бустингов только катбуст может обучать финальную модель с ранней остановкой, и то, если нет категориальных признаков в датасете. Все остальные требуют явного указания валидационного множества в fit_params, т.е. создаёшь такой его до запуска конвейера из начальных признаков (а как ещё-то?), первым этапом конвейера запускается отборщик признаков, убирает у тебя, скажем, половину фич, передаёт самые важные на обучение финальной модели, а она валится с ошибкой, что в валидационном множестве найдены несовпадающие признаки. Вопрос: каким местом думают разработчики популярных бустингов, почему не сделали передачу индексов или вообще сплиттеров вместо полноценных данных?
Пока выход виден только один, отказаться от лучшей практики и фиттить отборщик признаков отдельно. Или есть ещё варианты?
Почему это вообще считалось лучшей практикой? Наверное, потому, что весь конвейер было легко сохранить в один файл и обучать на любых новых данных почти одной строкой. Почти потому, что надо ж ещё просплитить данные было на train и eval.
Пока что, если хочется следовать остальным лучшим практикам (Early Stopping etc), выходит что конвейер надо сохранять 2 частями: препроцессинг (с потенциальным созданием новых фичей)+FS, и финальная моделька (потенциально + обёртка в виде HPT).
Что-то не могу придумать красивого варианта (
При тестировании отборщиков признаков в конвейере (а это, по идее, лучшая практика) вдруг осознал, что из 3-х основных бустингов только катбуст может обучать финальную модель с ранней остановкой, и то, если нет категориальных признаков в датасете. Все остальные требуют явного указания валидационного множества в fit_params, т.е. создаёшь такой его до запуска конвейера из начальных признаков (а как ещё-то?), первым этапом конвейера запускается отборщик признаков, убирает у тебя, скажем, половину фич, передаёт самые важные на обучение финальной модели, а она валится с ошибкой, что в валидационном множестве найдены несовпадающие признаки. Вопрос: каким местом думают разработчики популярных бустингов, почему не сделали передачу индексов или вообще сплиттеров вместо полноценных данных?
Пока выход виден только один, отказаться от лучшей практики и фиттить отборщик признаков отдельно. Или есть ещё варианты?
Почему это вообще считалось лучшей практикой? Наверное, потому, что весь конвейер было легко сохранить в один файл и обучать на любых новых данных почти одной строкой. Почти потому, что надо ж ещё просплитить данные было на train и eval.
Пока что, если хочется следовать остальным лучшим практикам (Early Stopping etc), выходит что конвейер надо сохранять 2 частями: препроцессинг (с потенциальным созданием новых фичей)+FS, и финальная моделька (потенциально + обёртка в виде HPT).
Что-то не могу придумать красивого варианта (
#featureselection #diogenes #rfecv
Вот так работает обратное удаление признаков в Диогене, кстати, в реальном проекте уже.
Вот так работает обратное удаление признаков в Диогене, кстати, в реальном проекте уже.
#nvidia
Охренеть.
"Компания NVIDIA близка к тому, чтобы опередить по рыночной стоимости Apple и занять второе место в рейтинге самых крупных по рыночной капитализации компаний в мире, уступая лишь Microsoft. В настоящее время стоимость активов NVIDIA находится в районе $2,38 трлн, отставая от Apple примерно на $230 млрд и от занимающей первую позицию Microsoft примерно на $645 млрд.
Благодаря буму на рынке ИИ рыночная стоимость NVIDIA всего за 9 месяцев выросла с $1 трлн до более чем $2 трлн, обогнав на пути к вершинам рейтинга Amazon, Alphabet и Saudi Aramco. Неустанный рост акций NVIDIA, занимающей 80 % рынка высокопроизводительных ИИ-чипов, обеспечил ей более 5 % удельного веса в фондовом индексе S&P 500. В последние недели NVIDIA также заместила Tesla в качестве обладателя наиболее торгуемых акций Уолл-стрит."
https://3dnews.ru/1101458/nvidia-gotova-operedit-po-rinochnoy-stoimosti-apple-stolknuvsheysya-s-zamedleniem-prodag-iphone
Охренеть.
"Компания NVIDIA близка к тому, чтобы опередить по рыночной стоимости Apple и занять второе место в рейтинге самых крупных по рыночной капитализации компаний в мире, уступая лишь Microsoft. В настоящее время стоимость активов NVIDIA находится в районе $2,38 трлн, отставая от Apple примерно на $230 млрд и от занимающей первую позицию Microsoft примерно на $645 млрд.
Благодаря буму на рынке ИИ рыночная стоимость NVIDIA всего за 9 месяцев выросла с $1 трлн до более чем $2 трлн, обогнав на пути к вершинам рейтинга Amazon, Alphabet и Saudi Aramco. Неустанный рост акций NVIDIA, занимающей 80 % рынка высокопроизводительных ИИ-чипов, обеспечил ей более 5 % удельного веса в фондовом индексе S&P 500. В последние недели NVIDIA также заместила Tesla в качестве обладателя наиболее торгуемых акций Уолл-стрит."
https://3dnews.ru/1101458/nvidia-gotova-operedit-po-rinochnoy-stoimosti-apple-stolknuvsheysya-s-zamedleniem-prodag-iphone
3DNews - Daily Digital Digest
NVIDIA готовится обойти по рыночной стоимости Apple, столкнувшуюся с замедлением продаж iPhone
Компания NVIDIA близка к тому, чтобы опередить по рыночной стоимости Apple и занять второе место в рейтинге самых крупных по рыночной капитализации компаний в мире, уступая лишь Microsoft.
#ml #terminology
Ещё одно неудачное название в науке о данных: independent variables. Кто-то видел в реальном примере из жизни, чтобы факторы, описывающие какое-то явление, реально были все независимы друг от друга? Если бы такое было возможно, не существовало бы понятий типа IterativeImputer.
Простой пример: в базе клиентов есть поля Город проживания, ВУЗ, семейный доход. Если определён город, то разброс ВУЗов резко сужается. Если известен семейный доход, то разброс сокращается ещё больше.
Куда более точное название, я считаю, influencing variables - влияющие переменные, или explanatory variables - объясняющие переменные. А ещё более точное - potentially influencing variables, так как поначалу мы накидываем как гипотезу всё что можно, и до шага FS (а зачастую и последнего, модельного) хз кто там на самом деле влияет )
Ещё одно неудачное название в науке о данных: independent variables. Кто-то видел в реальном примере из жизни, чтобы факторы, описывающие какое-то явление, реально были все независимы друг от друга? Если бы такое было возможно, не существовало бы понятий типа IterativeImputer.
Простой пример: в базе клиентов есть поля Город проживания, ВУЗ, семейный доход. Если определён город, то разброс ВУЗов резко сужается. Если известен семейный доход, то разброс сокращается ещё больше.
Куда более точное название, я считаю, influencing variables - влияющие переменные, или explanatory variables - объясняющие переменные. А ещё более точное - potentially influencing variables, так как поначалу мы накидываем как гипотезу всё что можно, и до шага FS (а зачастую и последнего, модельного) хз кто там на самом деле влияет )
#books
Впервые увидел благодарности, которые интересно читать. Книга М. Никитин. «Происхождение жизни. От туманности до клетки»
"Благодарности
Эта книга появилась на свет благодаря многим людям, и я хочу поблагодарить их за то, что они сделали. Начать ее историю стоит, пожалуй, с вышедшей в 1999 году книги палеонтолога Кирилла Еськова «История Земли и жизни на ней». Она во многом стала для автора образцом стиля, связности и логичности изложения и повлияла на мой интерес к проблеме возникновения жизни. Если бы не труд Кирилла Юрьевича, эта книга не стала бы такой, какая она есть.
Далее следует благодарить профессора Армена Мулкиджаняна. С его рассказа о теории «цинкового мира» на семинаре нашего института в 2008 году начался мой пристальный интерес к свежим работам в области происхождения жизни. Шестая и пятнадцатая главы этой книги построены в основном на работах Армена Яковлевича. Вполне возможно, что его идеям в книге уделено больше внимания, чем другим альтернативам, но эта необъективность остается на совести автора.
В основу книги лег курс лекций, который автор читал школьникам 10-го класса в Летней экологической школе (ЛЭШ). Я благодарен всем, кто делает ЛЭШ и дает возможность преподавать там уникальные курсы уникальным школьникам. Марина Фридман, услышав мои лекции в ЛЭШ, предложила записать их и издать циклом статей в журнале «Химия и жизнь –XXI век». Текст стал гораздо лучше и был опубликован благодаря редактору журнала Елене Клещенко.
Этот цикл статей, вышедший в «Химии и жизни» в 2013 году, был отмечен литературной премией имени Александра Беляева. На вручении премии автора приперли к стене представители издательств и потребовали писать книгу.
Книга превратилась из научной в хотя бы слегка популярную благодаря редакторам Елене Наймарк и Виктору Сурдину, а также бета-читателям: Александру Хохлову, Марине Мамаевой, Наталье Агаповой и Ларисе Бучок. Естественно, благодарность заслужили работавшие над книгой сотрудники издательства «Альпина нон-фикшн». И последней, но не по значимости, я благодарю замечательную Елену Кармальскую, которая поддерживала меня во всем и наполняла жизнь радостью. Лена, я предлагаю тебе руку, сердце и соавторство в следующей книге!"
Впервые увидел благодарности, которые интересно читать. Книга М. Никитин. «Происхождение жизни. От туманности до клетки»
"Благодарности
Эта книга появилась на свет благодаря многим людям, и я хочу поблагодарить их за то, что они сделали. Начать ее историю стоит, пожалуй, с вышедшей в 1999 году книги палеонтолога Кирилла Еськова «История Земли и жизни на ней». Она во многом стала для автора образцом стиля, связности и логичности изложения и повлияла на мой интерес к проблеме возникновения жизни. Если бы не труд Кирилла Юрьевича, эта книга не стала бы такой, какая она есть.
Далее следует благодарить профессора Армена Мулкиджаняна. С его рассказа о теории «цинкового мира» на семинаре нашего института в 2008 году начался мой пристальный интерес к свежим работам в области происхождения жизни. Шестая и пятнадцатая главы этой книги построены в основном на работах Армена Яковлевича. Вполне возможно, что его идеям в книге уделено больше внимания, чем другим альтернативам, но эта необъективность остается на совести автора.
В основу книги лег курс лекций, который автор читал школьникам 10-го класса в Летней экологической школе (ЛЭШ). Я благодарен всем, кто делает ЛЭШ и дает возможность преподавать там уникальные курсы уникальным школьникам. Марина Фридман, услышав мои лекции в ЛЭШ, предложила записать их и издать циклом статей в журнале «Химия и жизнь –XXI век». Текст стал гораздо лучше и был опубликован благодаря редактору журнала Елене Клещенко.
Этот цикл статей, вышедший в «Химии и жизни» в 2013 году, был отмечен литературной премией имени Александра Беляева. На вручении премии автора приперли к стене представители издательств и потребовали писать книгу.
Книга превратилась из научной в хотя бы слегка популярную благодаря редакторам Елене Наймарк и Виктору Сурдину, а также бета-читателям: Александру Хохлову, Марине Мамаевой, Наталье Агаповой и Ларисе Бучок. Естественно, благодарность заслужили работавшие над книгой сотрудники издательства «Альпина нон-фикшн». И последней, но не по значимости, я благодарю замечательную Елену Кармальскую, которая поддерживала меня во всем и наполняла жизнь радостью. Лена, я предлагаю тебе руку, сердце и соавторство в следующей книге!"
#featureselection #kuhn
Читаю по рекомендации товарища книжку по ML. В главе по FS есть задание, мимо которого не смог пройти ) Надо будет потестить на нём Диогена. А возьмётся кто-то из читателей потестить на этом примере алгоритмы sklearn/mlxtend?
Читаю по рекомендации товарища книжку по ML. В главе по FS есть задание, мимо которого не смог пройти ) Надо будет потестить на нём Диогена. А возьмётся кто-то из читателей потестить на этом примере алгоритмы sklearn/mlxtend?
👍1
#uplift #kuhn
Понравилась идея matched samples в аплифт-моделировании.
"Another approach could be to use more sophisticated sampling techniques to create an appropriate training set. For the table above, it is impossible to contact and to not contact the same customer. However, in medical research, this problem is often faced when evaluating a new treatment against an existing therapy. Here, clinical trials sometimes use matched samples. Two subjects are found that are nearly identical and are randomized into treatment groups. The idea is that the only differentiating factor is the treatment, and the patient response can be estimated more accurately than without matching. The important idea here is that the subjects are no longer the experimental unit. The matched pair itself becomes the primary data point in the analysis."
Понравилась идея matched samples в аплифт-моделировании.
"Another approach could be to use more sophisticated sampling techniques to create an appropriate training set. For the table above, it is impossible to contact and to not contact the same customer. However, in medical research, this problem is often faced when evaluating a new treatment against an existing therapy. Here, clinical trials sometimes use matched samples. Two subjects are found that are nearly identical and are randomized into treatment groups. The idea is that the only differentiating factor is the treatment, and the patient response can be estimated more accurately than without matching. The important idea here is that the subjects are no longer the experimental unit. The matched pair itself becomes the primary data point in the analysis."
#games
Интересная.
"Куда, возница бестолковый,
завёз меня, скажи?
Повсюду здесь народ суровый,
за голенищами ножи."
https://www.youtube.com/watch?v=gIVaXxh8de0
Интересная.
"Куда, возница бестолковый,
завёз меня, скажи?
Повсюду здесь народ суровый,
за голенищами ножи."
https://www.youtube.com/watch?v=gIVaXxh8de0
YouTube
Mysterious Disappearance | VALLEY OF SHADOWS | Indie Horror Game
New PC Gameplay. Full Game Walkthrough. After a strange taxi ride home, a man discovers his wife and daughter missing...
►Follow me on Facebook - http://on.fb.me/1u0sffi
►Follow me on Twitter - http://Twitter.com/CjuGames
►Join me on Discord - https:…
►Follow me on Facebook - http://on.fb.me/1u0sffi
►Follow me on Twitter - http://Twitter.com/CjuGames
►Join me on Discord - https:…