Aspiring Data Science – Telegram
Aspiring Data Science
385 subscribers
465 photos
12 videos
12 files
2.15K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
Сегодня впервые за, пожалуй, года, увидел пикчу, которую захотелось поставить на рабочий стол
1
Хотя с предыдущим фото может конкурировать снимок телескопа "Джеймс Вебб", где каждый спиральный диск галактики содержит сотни миллиардов таких же звёзд, как наше Солнце. А всего в видимой Вселенной количество галактик оценивается так же в сотни миллиардов. Привет тем, кто до сих пор думает, что наша планета одна такая уникальная с разумной жизнью и вообще с жизнью.
🔥2
#tesla #autopilot

"Во-первых, электромобиль может продолжать прямолинейное движение на перекрёстках, где предусмотрено движение лишь в одном из боковых направлений. Во-вторых, машина способна преодолевать перекрёстки без фактической полной остановки у стоп-линии. В-третьих, электромобиль иногда проезжает на отчётливо горящий жёлтый свет без необходимых мер предосторожности, как утверждают регуляторы. Ещё один дефект программного обеспечения не имеет отношения к перекрёсткам, но позволяет электромобилям Tesla превышать установленные пределы скорости на некоторых участках дорог.

Tesla подчеркнула, что ей неизвестно о случаях ДТП или иных инцидентах с ущербом в результате проявления перечисленных дефектов ПО, а Илон Маск на своей странице в Twitter призвал власти не использовать термин «отзыв» для подобных ситуаций, когда нужно лишь обновить программное обеспечение по воздуху. Это слово он назвал устаревшим и совершенно неуместным.

Программное обеспечение FSD предстоит автоматически обновить на 362 758 электромобилях, реализованных в США. Кампания коснётся Model S и Model X, выпущенных с 2016 по 2023 год, Model 3 (2017 – 2023) и Model Y (2020 – 2023), на которые установлено ПО FSD Beta. Торги акциями Tesla вчера завершились снижением их курса примерно на 7,5 %"

https://3dnews.ru/1082114/regulyatori-v-ssha-obyazali-tesla-otozvat-362-758-elektromobiley-izza-opasnogo-povedeniya-na-perekryostkah
#friday #games #mars

It's hard to recall that dream...
Bewildering shapes - alien music - a snowstorm in an exotic jungle - a sense of colossal loneliness stretching over billions of years... It's impossible. Can't grasp it. Dreams are the slipperiest of fish. Ever since the start of Operation Akarak, something has invaded the base. It's a subtle invasion - slow, quiet and discreet. It's an atmosphere - a presence. There was a time I wasn't afraid of the night.

Emergency Transmission:
-It's Harroway - listen... It's too late to evacuate... I don't know if you're receiving this... communication is breaking up... We opened up... on your orders. It was a Pandora's box - all the evils of old Mars flew out. But Pandora found a solitary gift in the box - hope. I doubt there's any hope on cold Mars... people clumping
together... time in the rock... should designate Mars a quarantine planet, but I know you won't. If you send a manned craft, warn the crew - stay alone, stay alive. And for...


https://www.youtube.com/watch?v=xKke1VfI-RE&ab_channel=ddjj999
1
Forwarded from Борис опять
# Чатботопокалипсис

Я ожидаю, что языковые модели принесут ощутимые изменения в три сферы: пропаганда, маркетинг и мошенничество.

Больше всего меня беспокоит пропаганда. Государства уже давно продвигают свои идеи в интернете. “Фермы ботов”, Ольгино, ЦИПСО. Еще в лохматые 2010-ые годы люди называли друг друга кремлеботами. Появилось то самое мемное «Я на выборы никогда не ходил, но в этот раз точно пойду за Грудинина голосовать. Кандидат от народа!». Но это только верхушка айсберга. Есть люди, которые обрабатывают население более тонко и точечно, например через родительские чаты в вотсапе. Уже давно есть сети телеграм каналов, которые ведут между собой обсуждения, спорят, репостят друг друга, но при этом управляются одними и теми же людьми.

Все это с нами довольно давно. Языковые модели не добавляют ничего принципиально нового. Но они открывают дорогу к совершенно иным масштабам. Есть невысокий предел количества комментов, которые может настрочить один человек на зарплате. Но дай ему ChatGPT и он напишет в десять раз больше текстов. Это как минимум. Как максимум можно вообще убрать кожаную прослойку, автоматизировать процесс и делать в сто, тысячу, N раз больше контента.

Новые масштабы открывают качественно новые возможности. Если взять все те же комменты, то сейчас ради количества приходится жертвовать оригинальностью, поэтому комментарии ботов такие шаблонные. Языковая модель позволяет делать все комментарии контекстуализированными без потери площади покрытия. Каждый текст может быть уникален, по теме и со своим характером. Нужный посыл можно спрятать между строк. Например, оппозиционного кандидата на выборах не обязательно поливать грязью, достаточно лишь передать сомнение. Можно просто писать разные мысли и упоминать одного кандидата чаще, а второго реже. Можно тергетировать посылы под разные группы: для молодых, для пожилых, для либералов, для консерваторов и так далее. Ведь модель может аргументировать на языке того, кого она пытается убедить.

Можно пойти еще дальше и использовать сетевые эффекты. Вместо одного комментария сделать диалог двух людей, где один высказывает нейтральную позицию, а второй постепенно его переубеждает. Автоматизировать сетку телеграм каналов, создавая правдоподобных селебрити. Выбирать реальных людей, вещающих верные вещи, и продвигать их с помощью ботов. Работа на большом масштабе позволяет формировать инфополе. Создавать эффект не убедительностью отдельного аргумента, а общим фоном. Человека лишь надо убедить, что консенсус склоняется в нужную сторону, и он сам начнет его защищать. Словом, можно сделать страшных масштабов кукольный театр.

Однако есть сомнения. Во-первых: что мешает делать все это сейчас? Я думаю, что ничего не мешает и в этом суть моего аргумента. Я не предсказываю ничего нового, просто экстраполирую текущую ситуацию. Если мы уже сейчас имеем рабочие пропагандистские машины, то с автоматизацией и снижением затрат они наверняка станут масштабнее.

Во-вторых: что изменилось? GPT-3 с нами давно. Когда она вышла все тоже предвещали апокалипсис, но ничего не произошло. Я думаю, что принципиально в моделях ничего не изменилось и все это можно было делать на моделях уровня старой GPT-3. Но я ожидаю изменений, потому что ChatGPT лезет из каждого утюга. Такая популярность (по некоторым данным 600 миллионов MAU) может преодолеть инерцию государств. Во время своего выхода GPT-3 была единственной моделью, которая выдавала что-то вразумительное, и доступ к ней был ограничен. Сейчас гораздо больше аналогов. Вы тоже можете скачать YALM на 100 миллиардов параметров и засрать весь интернет.

Подводя итог: я думаю, что апокалипсиса снова не будет, но мы увидим изменения. Что мы точно получим: комментарии в открытых ресурсах станут еще большей помойкой, выдача гугла станет еще большей помойкой, люди еще больше уйдут в закрытые сообщества, чуть больший процент людей будет так или иначе одурачен, государства получат чуть больше контроля над людьми, а зумеры еще лучше натренируют в голове дискриминатор булщита и продолжат паркурить в майнкрафте.
1
Forwarded from Авва
Возьмем какое-то количество одинаковых квадратов, скажем пять. Предположим, мы хотим упаковать их вместе внутри друого большого квадрата - насколько большим он обязан быть? Например, мы можем взять большой квадрат 3x3, в котором умещаются 9 маленьких квадратов. Пять наших поставить, а четыре остаются пустыми. Тогда у большого квадрата длина стороны выходит 3 (считая в размерах маленьких квадратиков).

Но оказывается, можно поставить четыре маленьких по углам близко друг к другу, но не касаясь, а пятый повернуть на 45 градусов и в середину между ними. Так они уложатся в большой квадрат с длиной стороны примерно 2.7, это лучше, чем 3. Возникает вопрос: насколько можно уменьшить большой квадрат, запаковав маленькие наиболее эффективно? И такой вопрос задается для каждого числа маленьких квадратов, необязательно пяти.

Математик Эрик Фридман исследует этот вопрос и опубликовал набор лучших известных результатов для разных n (n это число маленьких квадратов). Для некоторых написано "proved", это значит строго доказано, для других "found" - это лучшее, что найдено, но не доказано, что нельзя еще лучше. Мне очень нравится результат для n=17 своей хаотичностью и асимметрией. В Твиттере кто-то написал "бог умер и его убил лучший способ упаковать 17 квадратиков в большой квадрат".

Сравните его с красивой симметрией n=26.

Спросите себя: я человек-17 или человек-26?
1🌚1
print(str(4.9).isnumeric())
Anonymous Quiz
50%
True
50%
False
#wordsofwisdom


"Penny-wise, pound foolish."

Прямо день открытий какой-то. Так бы я описал некоторых руководителей в некоторых компаниях, где довелось работать.
😁1
"Помимо экспансии ускорителей вычислений семейства Hopper, стимулировать рост выручки NVIDIA в серверном сегменте в текущем году должен и спрос на компоненты, пригодные для создания систем генеративного искусственного интеллекта, как считают представители KeyBanc Capital Markets. Прогноз по курсу акций NVIDIA они поднимают до $280 за штуку. Morgan Stanley в своих прогнозах более осторожен, называя ориентир в виде $255 за акцию, поскольку представители этого инвестиционного банка видят признаки сохранения на серверном рынке некоторых проблем со спросом в краткосрочной перспективе, вызванных общей слабостью экономики."

https://3dnews.ru/1082445/kurs-aktsiy-nvidia-podskochil-na-12-investori-poverili-v-perspektivi-iskusstvennogo-intellekta
#sklearn #mutualinfo

Разработчики sklearn предпочли каждый раз обделываться на малых выборках, вместо того чтобы заменить 3 на 2 по дефолту. При это ни одного аргумента в пользу сохранения 3, или объяснения, почему 3 было выбрано изначально, не привели. Это прям напоминает поведение разрабов matplotlib-а, которые в течение 1 минуты перевели issue в статус Закрыто, даже не вникая в проблему (когда в полярных координатах вместо окружности рисовалась хрень). Разве что тут выдержали паузу в недельку, но результат один. Лишь бы не было висящих issues, а что программный продукт некачественный, это ничего. И уж упаси Боже их что-то реально сделать... Будут до смерти отписываться лучше.

https://github.com/scikit-learn/scikit-learn/issues/25580#issuecomment-1439971979
😁2
#python #debugging #vba #vb6

Вопрос к специалистам Python: почему в этом самом распространённом в мире языке программирования, который рекламируется как лёгкий для изучения, так затруднена отладка? Я начинал кодить в Visual Basic 6 и VBA, и я вам скажу, после среды отладки VB6/VBA работать в Питоне - это примерно как плыть со связанными руками. Вот написал ты скрейпер для сложных неструктурированных данных, запустил его, через два дня в середине сложного процесса он падает на непредусмотренном пустом поле, к примеру.

Дай Бог, ты запустил скрипт с параметрами -m pdb, тогда ты хоть сможешь посмотреть, на каком куске данных упало и какие были переменные. Но внести простую правку в код и продолжить с того же места ты не сможешь. Какого хрена, спрашивается? Мне этого особого места в коде опять 2 дня ждать? Это же интерпретируемый язык, какого черта? В VB6/VBA я мог спокойно в режиме отладки подправить код текущей строки, процедуры, да хоть полмодуля новых написать, поменять порядок выполнения строк, выполнить строки повторно, заменить содержимое памяти как мне надо, и продолжить выполнение уже нового кода по F5, не завершая программы.

Почему Питон такой кастрированный, кто знает? Ладно бы он был хотя бы быстрым, типизированным и компилируемым, но это же самое медленное, что сейчас есть, наверное. Я чего-то не знаю, и все как-то эту проблему решают пайчармом или какими-то другими средами? Ведь сам по себе отладчик pdb может только показать стек, и бессильно завершиться?

P.S. Это удивительный пример того, как софтверная компания (Microsoft) задушила собственного одарённого ребёнка (VB6). VB6 должен был стать тем, чем стал Python, но вместо развития (кросс-платформенности, x64) его похоронили мелкософтовские манагеры.
👍1😢1
Constructing_long_short_stock_portfolio_with_a_new_listwise_learn.pdf
960.1 KB
Constructing long-short stock portfolio with a new listwise learn-to-rank algorithm

"A crucial difference lies in that for IR we only care about the accuracy at the top, but for longshort strategy we want both the top and the bottom to be accurate. To bridge this gap, we need a learn-to-rank method that emphasizes both the top and the bottom. In Song et al. (2017), the authors reverse the rank labels and fit the model twice, in the hope that the two models can predict the top and bottom respectively. In this paper, instead of the absolute stock returns, we focus on predicting the relative rank of the returns. This preference is explained not only by portfolio manager’s task to beat a relative index, but also by the difficulty of making value prediction. This difficulty mainly arises from the blurry boundary of the input information and the low information-noise ratio of financial data."
👍1
"Для обучения ИИ требуется обработать огромное количество данных, и использование большого количества высокопроизводительных графических процессоров помогает сократить время обучения. В случае ChatGPT, количество используемых параметров обучения выросло со 120 миллионов в 2018 году до 180 миллиардов в 2020 году и потребовало 20 000 графических процессоров для обработки данных. Для дальнейшего коммерческого использования ChatGPT количество графических процессоров понадобится увеличить минимум до 30 000 штук. В этих расчётах для оценки использовались чипы уровня NVIDIA A100.

NVIDIA, вероятно, выиграет от развития генеративного ИИ сильнее всех. A100 — универсальная система для рабочих нагрузок, связанных с ИИ. Чип обеспечивает производительность 5 петафлопс и на сегодняшний день является лучшим выбором для анализа больших данных и ускорения ИИ. AMD, в свою очередь, выпустила серверные чипы серий MI00, MI200 и MI300, которые тоже широко используются для приложений на базе ИИ. TSMC продолжит играть ключевую роль в связанной цепочке поставок, наряду с Nan Ya PCB, Kinsus и Unimicron, которые тоже смогут воспользоваться растущей волной спроса. Разработчики ИИ-чипов из Тайваня, такие, как GUC, AIchip, Faraday Technology и eMemory также выиграют от бума генеративного ИИ"

https://3dnews.ru/1082747/gonka-voorugeniy-ii-privedyot-k-burnomu-rostu-sprosa-na-graficheskie-chipi
🔥2
https://www.youtube.com/watch?v=tDJnwc8Hioc&ab_channel=AlexanderD%27yakonov
#pytorch #dyakonov

Вдруг кто не знает, Александр Дьяконов - один из лучших специалистов и преподавателей по ML в России и мире, доктор ФМН, профессор, победитель ML соревов на каггл и много где ещё.

его ютуб-канал рекомендуется к полному просмотру, а блог к прочтению )
ещё есть телеграм-канал.
🔥2