#skrub #tablevectorizer
Реальный пример работы с библой очистки данных skrub.
https://www.youtube.com/watch?v=wn0g1wBzDfQ
Реальный пример работы с библой очистки данных skrub.
https://www.youtube.com/watch?v=wn0g1wBzDfQ
YouTube
Probabl Livestream: Exploring TableVectorizer with Tabular Benchmarks
We're experimenting with live streams!
Each livestream will feature live coding and discussing a topic. This week we'll discuss the TableVectorizer in skrub. It's a neat tool to help you get started instantly with a tabular use-case, but there are a few…
Each livestream will feature live coding and discussing a topic. This week we'll discuss the TableVectorizer in skrub. It's a neat tool to help you get started instantly with a tabular use-case, but there are a few…
#sklearn
А вот пример роутинга метаданных в sklearn, появившийся относительно недавно. Раньше подобных эффектов (передачи произвольных именованных массивов/объектов любым компонентам конвейера) можно было достичь лишь частично, с использованием глобальных переменных, что к тому же было ненадёжно, неэлегантно и криво.
https://www.youtube.com/watch?v=lQ_-Aja-slA
А вот пример роутинга метаданных в sklearn, появившийся относительно недавно. Раньше подобных эффектов (передачи произвольных именованных массивов/объектов любым компонентам конвейера) можно было достичь лишь частично, с использованием глобальных переменных, что к тому же было ненадёжно, неэлегантно и криво.
https://www.youtube.com/watch?v=lQ_-Aja-slA
YouTube
Metadata routing in scikit-learn
Metadata routing is a relatively new feature that allows you to, as the name implies, route metadata to different components in your machine learning setup. It's especially useful for things like sample_weight, which require data per row of your input to…
🔥1
#hpo #hpt
Забавная иллюстрация важной концепции - устойчивости оптимального решения.
https://www.youtube.com/watch?v=vC9sAD-ymhk
Забавная иллюстрация важной концепции - устойчивости оптимального решения.
https://www.youtube.com/watch?v=vC9sAD-ymhk
YouTube
The optimisers curse
When looking for the best hyperparameters you can spend a lot of compute. So much so, that you can also spend *too much*. It is a sutble thing, but if you're not careful you can become a victim to something that's known as "the optimisers curse". This video…
👍1
#nlp #pca #dimreducers
Интересный рецепт: блок, дающий разреженные (sparse) признаки, после него PCA, дающий на выходе уже разумное количество плотных (dense) признаков.
https://www.youtube.com/watch?v=x7RX8VprCnE
Интересный рецепт: блок, дающий разреженные (sparse) признаки, после него PCA, дающий на выходе уже разумное количество плотных (dense) признаков.
https://www.youtube.com/watch?v=x7RX8VprCnE
YouTube
PCA as an embedding technique
If you have text represented as a sparse vector then there are a few things that you cannot do. In particular; not every scikit-learn model inside of scikit-learn can deal with it. Most notably the histogram boosted ensemble models. So what if we use PCA…
#nlp #skrub #topicmodelling
Другой компонент для той же задачи.
https://www.youtube.com/watch?v=l7y7gBpGa5U
Другой компонент для той же задачи.
https://www.youtube.com/watch?v=l7y7gBpGa5U
YouTube
How the GapEncoder works
The GapEncoder is an estimator from the skrub library that can do feature generation and topic modelling at the same time. Being able to do both is great for utility, but it also comes with some benefits for accuracy.
Link to paper: https://inria.hal.science/hal…
Link to paper: https://inria.hal.science/hal…
#fairness #weights
Извечный вопрос: большая модель для всей популяции, или индивидуальные модели для подгрупп?
Автор предлагает еще более успешную альтернативу - учиться на всём датасете, а для нужной подгруппы использовать большие веса.
И даже подбирать веса важной группы на CV - хотя тут CV будет нестандартной, ибо веса не являются гиперпараметром модели, формально они на самом деле параметры метода fit )
https://www.youtube.com/watch?v=REIg5NH2SNc
Извечный вопрос: большая модель для всей популяции, или индивидуальные модели для подгрупп?
Автор предлагает еще более успешную альтернативу - учиться на всём датасете, а для нужной подгруппы использовать большие веса.
И даже подбирать веса важной группы на CV - хотя тут CV будет нестандартной, ибо веса не являются гиперпараметром модели, формально они на самом деле параметры метода fit )
https://www.youtube.com/watch?v=REIg5NH2SNc
YouTube
Improving models via subsets
Sometimes you can improve a model by tuning hyperparameters, but sometimes you can also improve the model by thinking about what matters. It could be that a subset is most interesting for a task, but that does not mean we merely want to zoom in on a subset.…
❤2
#music #poetry #gpt
"А ты подбросила мне грамм" )
"Here it comes, it's beginning now,
Someone knocks, hear the knocking sound.
Soon the door will be breaking down,
It won’t hold, they will force it out.
Hello, I knew,
The final act would come for me and you.
I knew,
But never thought it’s you—
Them and you,
With those honest eyes so true.
You recall, I said before,
Love will strike us to the core.
It could have been another face,
But for you, it was set in stone—
Drop a gram, then leave no trace,
Wear a badge and play their role.
Hello, I knew,
The final act would come for me and you.
I knew,
But never thought it’s you—
Them and you,
With those honest eyes so true.
You recall, I said before,
Love will strike us to the core.
And you planted me that gram..."
https://www.youtube.com/watch?v=o0e3NYC6tjE
"А ты подбросила мне грамм" )
"Here it comes, it's beginning now,
Someone knocks, hear the knocking sound.
Soon the door will be breaking down,
It won’t hold, they will force it out.
Hello, I knew,
The final act would come for me and you.
I knew,
But never thought it’s you—
Them and you,
With those honest eyes so true.
You recall, I said before,
Love will strike us to the core.
It could have been another face,
But for you, it was set in stone—
Drop a gram, then leave no trace,
Wear a badge and play their role.
Hello, I knew,
The final act would come for me and you.
I knew,
But never thought it’s you—
Them and you,
With those honest eyes so true.
You recall, I said before,
Love will strike us to the core.
And you planted me that gram..."
https://www.youtube.com/watch?v=o0e3NYC6tjE
YouTube
В дверь стучат
Provided to YouTube by Союз Мьюзик
В дверь стучат · Глеб Самойлоff & The MATRIXX
Прекрасное жестоко
℗ 2025 Союз Мьюзик
Released on: 2010-09-15
Auto-generated by YouTube.
В дверь стучат · Глеб Самойлоff & The MATRIXX
Прекрасное жестоко
℗ 2025 Союз Мьюзик
Released on: 2010-09-15
Auto-generated by YouTube.
👍1
#politics
О, как и сообщала компания СВР & Соловей еще год назад, талибов собираются "ратифицировать". В то же время в тюрьму сажают честных смелых людей, которые высказываются против войны, а террористами признают журналистов и россиян, делавших небольшие пожертвования в ФБК на борьбу с коррупцией в стране.
"Новость дня, которая многое говорит о сегодняшней России.
Генпрокуратура попросила Верховный Суд разрешить в России движение «Талибан»
Исковое заявление за подписью генерального прокурора уже поступило в Верховный Суд и принято к производству. Заседание назначено на 17 апреля. Проведёт его судья Олег Нефёдов, который в ноябре 2023 года признал «экстремистским» и запретил в России несуществующее «движение ЛГБТ».
Надзорное ведомство просит приостановить запрет на деятельность движения «Талибан», которое находится в списке террористических организаций больше 20 лет.
В суде уже уточнили, что заседание пройдет в закрытом режиме. То есть журналисты скорее всего не услышат причин, по которым Генпрокуратура считает талибов друзьями.
Несмотря на запрещенный статус, представители «Талибана» уже несколько лет ездят на официальные мероприятия в Россию: они принимали участие в международных форумах в Санкт-Петербурге и Казани, где обсуждали борьбу с терроризмом, наркотрафиком и высказывались о проблемах образования. В прошлом году Путин назвал их «союзниками».
В декабре Госдума приняла закон, позволяющий исключать организации из списка террористических. Ранее эту идею поддержали в Минюсте и Министерстве иностранных дел.
Напомним, что талибы пришли к власти в Афганистане в 2021 году. Они запрещают женщинам учиться даже в начальной школе, выходить на улицу без чадры, ходить в спортзалы и гулять в парках с мужчинами. Представители движения неоднократно говорили о намерении забивать женщин камнями за измены, а также публично пороть."
О, как и сообщала компания СВР & Соловей еще год назад, талибов собираются "ратифицировать". В то же время в тюрьму сажают честных смелых людей, которые высказываются против войны, а террористами признают журналистов и россиян, делавших небольшие пожертвования в ФБК на борьбу с коррупцией в стране.
"Новость дня, которая многое говорит о сегодняшней России.
Генпрокуратура попросила Верховный Суд разрешить в России движение «Талибан»
Исковое заявление за подписью генерального прокурора уже поступило в Верховный Суд и принято к производству. Заседание назначено на 17 апреля. Проведёт его судья Олег Нефёдов, который в ноябре 2023 года признал «экстремистским» и запретил в России несуществующее «движение ЛГБТ».
Надзорное ведомство просит приостановить запрет на деятельность движения «Талибан», которое находится в списке террористических организаций больше 20 лет.
В суде уже уточнили, что заседание пройдет в закрытом режиме. То есть журналисты скорее всего не услышат причин, по которым Генпрокуратура считает талибов друзьями.
Несмотря на запрещенный статус, представители «Талибана» уже несколько лет ездят на официальные мероприятия в Россию: они принимали участие в международных форумах в Санкт-Петербурге и Казани, где обсуждали борьбу с терроризмом, наркотрафиком и высказывались о проблемах образования. В прошлом году Путин назвал их «союзниками».
В декабре Госдума приняла закон, позволяющий исключать организации из списка террористических. Ранее эту идею поддержали в Минюсте и Министерстве иностранных дел.
Напомним, что талибы пришли к власти в Афганистане в 2021 году. Они запрещают женщинам учиться даже в начальной школе, выходить на улицу без чадры, ходить в спортзалы и гулять в парках с мужчинами. Представители движения неоднократно говорили о намерении забивать женщин камнями за измены, а также публично пороть."
Original-Microsoft-Source-Code.pdf
94.5 MB
#basic #gates
"Altair BASIC он назвал «самым крутым кодом, который я когда-либо писал». Источником вдохновения для этого проекта послужил номер журнала Popular Electronics за январь 1975 года — на его обложке был компьютер Altair 8800, побудивший Гейтса заняться разработкой ПО. Он и Аллен обратились в выпустившую компьютер компанию MITS (Micro Instrumentation and Telemetry Systems) и предложили интерпретатор языка программирования BASIC для этой модели.
Этот продукт позволил бы большому числу пользователей с лёгкостью создавать собственные программы, но Гейтсу и Аллену потребовались несколько месяцев, чтобы добиться этого результата. Altair BASIC стал первым продуктом, который Гейтс и Аллен разработали для новой компании, тогда называвшейся Micro-Soft, а от дефиса они избавились позже. Исходный код занимает 157 страниц."
https://3dnews.ru/1120740/k-50letiyu-microsoft-bill-geyts-opublikoval-samiy-krutoy-kod-kotoriy-kogdalibo-pisal
"Altair BASIC он назвал «самым крутым кодом, который я когда-либо писал». Источником вдохновения для этого проекта послужил номер журнала Popular Electronics за январь 1975 года — на его обложке был компьютер Altair 8800, побудивший Гейтса заняться разработкой ПО. Он и Аллен обратились в выпустившую компьютер компанию MITS (Micro Instrumentation and Telemetry Systems) и предложили интерпретатор языка программирования BASIC для этой модели.
Этот продукт позволил бы большому числу пользователей с лёгкостью создавать собственные программы, но Гейтсу и Аллену потребовались несколько месяцев, чтобы добиться этого результата. Altair BASIC стал первым продуктом, который Гейтс и Аллен разработали для новой компании, тогда называвшейся Micro-Soft, а от дефиса они избавились позже. Исходный код занимает 157 страниц."
https://3dnews.ru/1120740/k-50letiyu-microsoft-bill-geyts-opublikoval-samiy-krutoy-kod-kotoriy-kogdalibo-pisal
#physics
"Ожидается, что БАК исчерпает свои возможности к 2041 году. Энергии столкновения частиц на БАК хватило для открытия частицы Хиггса — элементарной частицы, ответственной за характеристику массы элементарных частиц. Значительное увеличение энергии столкновений на FCC способно привести к открытию новой физики — новых частиц и иных взаимодействий между ними, что ещё дальше продвинет учёных по пути понимания сути нашей Вселенной.
Для реализации проекта FCC требуется финансирование в размере $17 млрд, но на деле это наверняка будет стоить ощутимо дороже. Работы продлятся около 20 лет и если начнутся в 2028 году, как ожидает руководство CERN, то свой «первый свет» коллайдер выдаст в 2048 году.
Новое кольцо ускорителя FCC будет более чем в три раза длиннее кольца Большого адронного коллайдера: 91 км против 27 км у БАК. Тоннели FCC должны пролегать на глубине 200 м под поверхностью земли или в два раза глубже, чем у БАК. Кольцо проляжет по территории Франции и Швейцарии. "
https://3dnews.ru/1120613/evropa-tehnicheski-gotova-postroit-superkollayder-budushchego-kotoriy-budet-vtroe-bolshe-baka
"Ожидается, что БАК исчерпает свои возможности к 2041 году. Энергии столкновения частиц на БАК хватило для открытия частицы Хиггса — элементарной частицы, ответственной за характеристику массы элементарных частиц. Значительное увеличение энергии столкновений на FCC способно привести к открытию новой физики — новых частиц и иных взаимодействий между ними, что ещё дальше продвинет учёных по пути понимания сути нашей Вселенной.
Для реализации проекта FCC требуется финансирование в размере $17 млрд, но на деле это наверняка будет стоить ощутимо дороже. Работы продлятся около 20 лет и если начнутся в 2028 году, как ожидает руководство CERN, то свой «первый свет» коллайдер выдаст в 2048 году.
Новое кольцо ускорителя FCC будет более чем в три раза длиннее кольца Большого адронного коллайдера: 91 км против 27 км у БАК. Тоннели FCC должны пролегать на глубине 200 м под поверхностью земли или в два раза глубже, чем у БАК. Кольцо проляжет по территории Франции и Швейцарии. "
https://3dnews.ru/1120613/evropa-tehnicheski-gotova-postroit-superkollayder-budushchego-kotoriy-budet-vtroe-bolshe-baka
3DNews - Daily Digital Digest
Европа технически готова построить суперколлайдер будущего, который будет втрое больше БАКа
31 марта 2025 года Европейская организация ядерных исследований (CERN) сообщила, что не обнаружила технических препятствий для постройки нового европейского суперколлайдера с кольцом длиной до 100 км.
#biology #lifeorigin
Открытие механизма абиогенного синтеза C и U нуклеотидов в 2009м впечатляет.
https://youtu.be/cgycY98yYWk?si=i_9_4nqBNir7Gerx
Открытие механизма абиогенного синтеза C и U нуклеотидов в 2009м впечатляет.
https://youtu.be/cgycY98yYWk?si=i_9_4nqBNir7Gerx
YouTube
Происхождение жизни: теория РНК-мира
#наука #эволюция #александрмарков #биология #дарвин #днк
#мутации #отбор #архэ #рнк #генетика #жизнь #происхождение
Лекция посвящена теории РНК-мира – возможно, одной из самых гениальных научных идей 20 века. Современные клетки включают три класса сложных…
#мутации #отбор #архэ #рнк #генетика #жизнь #происхождение
Лекция посвящена теории РНК-мира – возможно, одной из самых гениальных научных идей 20 века. Современные клетки включают три класса сложных…
#medicine #health #neuralink
"Первый пациент Neuralink Ноланд Арбоу в настоящее время освоил работу с ноутбуком, проворно управляя курсором буквально при помощи мысли. Он не только играет в стратегии, но и возобновил прерванное из-за травмы позвоночника обучение в университете в удалённом формате. До вживления имланта он от силы мог просматривать ролики на YouTube при помощи планшета, управляемого стилусом, удерживаемым в зубах.
Второй пациент Neuralink по имени Алекс (Alex) утратил подвижность четырёх конечностей в результате автомобильной аварии, после вживления имланта Neuralink он смог возобновить работу в качестве дизайнера, и теперь не только рисует эскизы, но и проектирует различные детали в специализированном ПО. В последнее время он также осваивает программирование средств автоматизации на платформе Arduino. При помощи импланта Алекс управляет смартфоном, закреплённом на специальном штативе его кресла-каталки. Он также принимает участие в эксперименте при управлении роботизированной рукой при помощи мыслей.
Третий пациент Neuralink по имени Брэд (Brad) утратил подвижность конечностей в результате бокового амиотрофического склероза (ALS в английской терминологии). Болезнь лишила его подвижности почти полностью, он был в состоянии двигать только глазами и уголками рта. До вживления импланта Neuralink передавать информацию он мог только при использовании специального ПО, отслеживающего движения глаз для ввода букв, и делать это можно было только в помещениях со стабильным и правильным освещением. По сути, это вынуждало Брэда основную часть времени проводить дома в полутьме. Вживление импланта позволило ему научиться гораздо быстрее набирать текст силой мысли, причём делать это за пределами своего дома."
https://3dnews.ru/1120848/neuralink-ishchet-novih-dobrovoltsev-dlya-ispitaniya-mozgovih-implantov-teper-po-vsemu-miru
"Первый пациент Neuralink Ноланд Арбоу в настоящее время освоил работу с ноутбуком, проворно управляя курсором буквально при помощи мысли. Он не только играет в стратегии, но и возобновил прерванное из-за травмы позвоночника обучение в университете в удалённом формате. До вживления имланта он от силы мог просматривать ролики на YouTube при помощи планшета, управляемого стилусом, удерживаемым в зубах.
Второй пациент Neuralink по имени Алекс (Alex) утратил подвижность четырёх конечностей в результате автомобильной аварии, после вживления имланта Neuralink он смог возобновить работу в качестве дизайнера, и теперь не только рисует эскизы, но и проектирует различные детали в специализированном ПО. В последнее время он также осваивает программирование средств автоматизации на платформе Arduino. При помощи импланта Алекс управляет смартфоном, закреплённом на специальном штативе его кресла-каталки. Он также принимает участие в эксперименте при управлении роботизированной рукой при помощи мыслей.
Третий пациент Neuralink по имени Брэд (Brad) утратил подвижность конечностей в результате бокового амиотрофического склероза (ALS в английской терминологии). Болезнь лишила его подвижности почти полностью, он был в состоянии двигать только глазами и уголками рта. До вживления импланта Neuralink передавать информацию он мог только при использовании специального ПО, отслеживающего движения глаз для ввода букв, и делать это можно было только в помещениях со стабильным и правильным освещением. По сути, это вынуждало Брэда основную часть времени проводить дома в полутьме. Вживление импланта позволило ему научиться гораздо быстрее набирать текст силой мысли, причём делать это за пределами своего дома."
https://3dnews.ru/1120848/neuralink-ishchet-novih-dobrovoltsev-dlya-ispitaniya-mozgovih-implantov-teper-po-vsemu-miru
3DNews - Daily Digital Digest
Neuralink ищет новых добровольцев для испытания мозговых имплантов, теперь по всему миру
По состоянию на февраль текущего года стартап Илона Маска (Elon Musk) вживил мозговой имплант троим пациентам, утратившим подвижность всех конечностей.