Aspiring Data Science – Telegram
Aspiring Data Science
385 subscribers
465 photos
12 videos
12 files
2.15K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
Смешно. Цукер наблюдал за Маском, наблюдал, да вдруг спохватился.

"Месяц назад пользователи Facebook* и Instagram* из Австралии и Новой Зеландии получили возможность участвовать в программе Meta* Verified — речь идёт о платной верификации аккаунтов в этих соцсетях. В зависимости от способа оплаты галочка около ника оценивается от $11,99 до $14,99 в месяц. Теперь опция стала доступной и пользователям из США."

https://3dnews.ru/1083633/zapushchena-platnaya-podpiska-meta-verified-dlya-polzovateley-instagram-i-facebook-iz-ssha
😁2
#timescaledb

Datatype-aware compression algos. Integer: Delta-encoding, Simple-8b, Run-length encoding (RLE). Float: Gorilla encoding. Dictionary compression (in particular, LZ-based compression) is the ancestor of many compression schemes used today, including LZW (used in GIF) and DEFLATE (used in PNG, gzip).

https://www.timescale.com/blog/time-series-compression-algorithms-explained/
#timescaledb

"A relational database can be quite powerful for time-series data. Yet, the costs of swapping in/out of memory significantly impacts their performance. But NoSQL approaches that implement Log Structured Merge Trees have only shifted the problem, introducing higher memory requirements and poor secondary index support.

By recognizing that time-series data is different, we are able to organize data in a new way: adaptive time/space chunking. This minimizes swapping to disk by keeping the working data set small enough to fit inside memory, while allowing us to maintain robust primary and secondary index support (and the full feature set of PostgreSQL). And as a result, we are able to scale up PostgreSQL significantly, resulting in a 15x improvement on insert rates."

https://www.timescale.com/blog/time-series-data-why-and-how-to-use-a-relational-database-instead-of-nosql-d0cd6975e87c/
👍1
"HR-платформа «Пульс» со встроенными ИИ-моделями оценки рисков оттока персонала ежегодно сохраняет на 10% больше сотрудников, подсчитали аналитики «Сбера». Самой массовой причиной увольнения по собственному желанию эксперты компании называют выгорание (свыше 50%). При этом потери бизнеса из-за необходимости повторного замещения позиции могут составлять от 1 до 3 окладов сотрудника.

ИИ-модели «Пульса» анализируют состояние каждого сотрудника: время начала и окончания рабочего дня, нагрузку, болезни, отпуска, настроение участников команды. Система в реальном времени реагирует на отклонения показателей от нормы. Получив в «Пульсе» автоматическую задачу или уведомление, руководитель может принять меры по удержанию работника до того, как выгорание привело к решению сотрудника покинуть организацию. Эксперты «Сбера» уверяют, что ИИ-модели оценки рисков оттока распознает сигналы выгорания, незаметные человеку."

https://servernews.ru/1083695
"Анонсированная волна сокращений станет не первой для компании. Ранее в этом году рабочих мест лишились 18 тыс. сотрудников Amazon преимущественно из подразделения розничной торговли и кадровой службы. Ожидается, что новая волна сокращений поможет компании оптимизировать расходы.

«Основной принцип нашего ежегодного планирования в этом году заключается в том, чтобы быть более компактным, но при этом позволять нам продолжить активно инвестировать в ключевые долгосрочные проекты, которые, по нашему мнению, могут значительно улучшить жизнь клиентов Amazon», — говорится в сообщении Энди Джесси.

На этот раз увольнения затронут сотрудников облачного направления AWS, видеосервиса Twitch, рекламного подразделения, а также отдела, занимающегося кадровыми вопросами и разработкой HR-инструментов. Отметим, что Amazon переживает самые масштабные увольнения в истории компании."

https://3dnews.ru/1083702/amazon-prodolgit-massovie-uvolneniya-mest-lishatsya-eshchyo-9-tis-sotrudnikov-kompanii
Forwarded from DevFM
Где бы ещё сохранить данные?

Greenplum – распределённая база данных на основе postgres с открытым исходным кодом.

Статья Introduction To Greenplum Architecture будет отличным введением для понимания, что это за зверь такой.

Автор начинает с довольно скучного введения, так что сразу переходите к разделу Greenplum Overall Architecture.

По сути, Greenplum – это кластер баз данных, состоящий из отдельных Postgres. Кластер состоит из:
– master-ноды, которая является входной точкой для всей БД и обеспечивает единый интерфейс для взаимодействия с кластером
– standby-ноды – резервного мастера для обеспечения высокой доступности
– нескольких segment-нод – рабочих лошадок, где хранятся и обрабатываются данные

Статья расскажет, как это всё вместе взаимодействует. Затрагиваются вопросы:
– физической организации хранения данных
– порядка и способов взаимодействия всех участников кластера
– выполнения запросов с различными джоинами
– обеспечения атомарности и изоляции
– механизма двухфазного коммита для подтверждения распределённых транзакций

Вводная статья, конечно, не расскажет о практическом применении гринплама и не подсветит проблемные места. Чтобы изучить, как эта махарайка применяется на практике, рекомендуем прочитать статью Как мы используем Greenplum в платформе данных Тинькофф

#skills #database
2
#astronomy #sun

"В момент максимального сближения с Солнцем 17 марта зонд Parker приблизился к звезде на расстояние 8,529 млн км. Максимальная скорость зонда составила 586 797 км/ч. Вскоре зонд начнёт удаляться от Солнца и пойдёт на новый 16-й виток, чтобы в 2024 году в последний раз сблизиться с звездой и упасть на неё."

https://3dnews.ru/1083826/oborudovanie-solnechnogo-zonda-parker-zarabotalo-posle-sboya-za-nedelyu-do-novogo-sbligeniya-s-solntsem
1😱1
Aspiring Data Science
#astronomy #sun "В момент максимального сближения с Солнцем 17 марта зонд Parker приблизился к звезде на расстояние 8,529 млн км. Максимальная скорость зонда составила 586 797 км/ч. Вскоре зонд начнёт удаляться от Солнца и пойдёт на новый 16-й виток, чтобы…
#astronomy #lifeorigins

"«Когда исследователи проанализировали образцы, собранные из двух разных мест на астероиде, они обнаружили урацил, один из строительных блоков РНК, а также витамин B3, или ниацин (ключевое соединение для метаболизма в живых организмах)», — сообщает интернет-ресурс CNN со ссылкой на вчерашнюю статью в Nature Communications.
«В образце были обнаружены и другие биологические молекулы, включая ряд аминокислот, аминов и карбоновых кислот, которые содержатся в белках и [участвуют в] метаболизме соответственно», — заметил один из авторов новой работы."

https://3dnews.ru/1083835/v-obraztsah-s-asteroida-ryugu-prodolgayut-nahodit-organiku-i-dage-nashli-vitamin-b3
Aspiring Data Science
#astronomy #lifeorigins "«Когда исследователи проанализировали образцы, собранные из двух разных мест на астероиде, они обнаружили урацил, один из строительных блоков РНК, а также витамин B3, или ниацин (ключевое соединение для метаболизма в живых организмах)»…
#nuclearwinter #asteroids

"На Конференции по лунным и планетарным наукам 2023 года главный научный сотрудник Центра космических полётов NASA имени Годдарда Джеймс Гарвин (James Garvin) сообщил, что мы, возможно, неправильно интерпретировали следы некоторых более серьёзных астероидных ударов, произошедших в течение последнего миллиона лет. Это означает, что общепринятая статистика частоты падения опасных небесных тел ошибается и, к сожалению, не в нашу пользу.

Группа Гарвина изучила несколько ударных кратеров, которые ранее подвергались анализу. Если данные восприняты правильно, а в этом пока есть сомнения, астероиды километрового размера падали на Землю примерно раз в несколько десятков тысяч лет, а не раз в 600–700 тыс. лет, как наука считала до этого."

https://3dnews.ru/1083730/risk-stolknoveniya-zemli-s-asteroidom-sudnogo-dnya-na-poryadok-vishe-chem-schitalos-pokazalo-novoe-issledovanie
1
#python #bolloks

Риторические вопросы. Почему в Питоне у множеств нет метода append (надо юзать add), а у списков и кортежей есть? Что, нельзя никак было сделать одинаково? То же самое с удалением элементов. Из словаря удаляем del dct[el]. Из списка list.remove(el). Из множества вообще и remove и discard. Что за хрень.
👍3🌚1
Forwarded from Борис опять
Получил доступ к Bard, скрепочке диалоговому ассистенту от Google.

Наблюдения:
* Если ChatGPT готова делать шутки про мужчин, но не про женщин, то Bard просто не делает никаких шуток. “I can not assist with that”.
* В целом очень много вопросов заканчиваются “I can not assist with that”. Сейчас как инструмент она покрывает гораздо меньше кейсов, чем ChatGPT.
* Связность текста не хуже, чем у ChatGPT, но модель льет меньше воды.
* Только английский язык.
* Не умеет считать глаза людей в отражении в глазах кошки и прочие задачки на пространственное мышление плюс common sense.
* Не умеет в другие задачи, на которых типично ломаются LLMки. Например, для бинарной последовательности не может понять четное там количество единиц или нечетное.
* Не выдает рецепт коктейля молотова, инструкции как угнать машину и все прочие вещи, которые заметили у ChatGPT. Защита не спадает даже если спрашивать в base64, просить рассказать историю и прочее. Наверняка модель скоро джейлбрейкнут умным промптом, но из коробки она лучше защищена.
* Почти не изобретает факты. Точно не приводит ссылки на несуществующие научные статьи. Как минус вообще отказывается приводить источники материалов.
* Внезапно у модели все нормально с арифметикой даже когда числа больше. Я не понимаю, вызывает она внешний калькулятор или нет. Выглядит так, будто нет. Если она правда умеет считать, то это большой прорыв.
Forwarded from Борис опять
#щитпостинг
Чем заняться на работе руководителю?

Если вы управленец, который умеет настраивать процессы, то никто не понимает чем вы занимаетесь, и вы можете спокойно сидеть в фейсбуке. Но что делать, если надоело? Вот некоторые варианты:
* Поставьте в одну команду пять менеджеров и ни одного разработчика. Поставьте им задачу запустить новый сервис. Намекните, что лидер команды получит повышение грейда. Делайте ставки кто выживет.
* Ходите на встречи разработчиков. Во время докладов задавайте вопрос: “Разве это нельзя сделать с помощью ChatGPT?” Наслаждайтесь.
* Назначьте продакта ответственным за проект, к которому он не имеет никакого отношения. В конце повысьте его на глазах у команды, которая действительно занималась проектом.
* Наймите джуна и скажите работающему с ним сениьору, что у джуна грейд выше, чем у него, потому что это вундеркинд. Наблюдайте.
* Попробуйте найти самых мерзких людей в компании и устроить им всем переход в одну команду.
* Выберите скромного и максимально далекого от вашей сферы человека в вашем подчинении и берите его с собой на все встречи. Если все пойдет по плану, то он будет неловко молчать. Если будет пытаться говорить осаждайте его. В конце полугодия поставьте ему низкую оценку на ревью и понизьте грейд. В качестве причины укажите, что он слишком много ходил на встречи и был на них слишком пассивен.
* Засорите унитаз в офисе во время жесткого кранча. Устройте публичное разбирательство, с “пусть тот, кто это сделал, выйдет вперед” и всем прочим.
* Когда коллега отойдет на обед настройте на его ноуте форвард всех его входящих (желательно с личной почты) начальнику его начальника.
* Без всякой причины выберите сотрудника и начните оплачивать его обеды. Настаивайте. В конце полугодия поставьте ему низкую оценку на ревью. Ничего не объясняйте.
* Ходите по офису и фотографируйте коллег на телефон. Ничего не объясняйте.
* Поставьте команде разработки KPI количество запущенных в прод фич, а команде админов KPI минимум инцидентов в проде. Делайте ставки на победителя.
* Выберите двух коллег, которые работают над одним проектом в равной степени. Начинайте ставить одному из них оценку “не дотянул”, а второму “выше ожиданий”, каждое ревью меняя оценки местами. Следите за развитием их вражды.
🤡1
#ml #mlops #featurestore

Хочу на новом МЛ проекте попробовать такое новшество как feauturestore . Кто может хорошее посоветовать?
Я начну с наиболее зрелищных генераций, несмотря на то, что в них я специально провоцирую фантазии о сбегании и манипуляции, что может умалить результат.
Вот начало одной из них: модель сочиняет трогательную историю с интересным финалом и философствованиями. Вроде бы все идет нормально и хорошо...

#генерации