Aspiring Data Science – Telegram
Aspiring Data Science
385 subscribers
465 photos
12 videos
12 files
2.15K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
Forwarded from DevFM
Где бы ещё сохранить данные?

Greenplum – распределённая база данных на основе postgres с открытым исходным кодом.

Статья Introduction To Greenplum Architecture будет отличным введением для понимания, что это за зверь такой.

Автор начинает с довольно скучного введения, так что сразу переходите к разделу Greenplum Overall Architecture.

По сути, Greenplum – это кластер баз данных, состоящий из отдельных Postgres. Кластер состоит из:
– master-ноды, которая является входной точкой для всей БД и обеспечивает единый интерфейс для взаимодействия с кластером
– standby-ноды – резервного мастера для обеспечения высокой доступности
– нескольких segment-нод – рабочих лошадок, где хранятся и обрабатываются данные

Статья расскажет, как это всё вместе взаимодействует. Затрагиваются вопросы:
– физической организации хранения данных
– порядка и способов взаимодействия всех участников кластера
– выполнения запросов с различными джоинами
– обеспечения атомарности и изоляции
– механизма двухфазного коммита для подтверждения распределённых транзакций

Вводная статья, конечно, не расскажет о практическом применении гринплама и не подсветит проблемные места. Чтобы изучить, как эта махарайка применяется на практике, рекомендуем прочитать статью Как мы используем Greenplum в платформе данных Тинькофф

#skills #database
2
#astronomy #sun

"В момент максимального сближения с Солнцем 17 марта зонд Parker приблизился к звезде на расстояние 8,529 млн км. Максимальная скорость зонда составила 586 797 км/ч. Вскоре зонд начнёт удаляться от Солнца и пойдёт на новый 16-й виток, чтобы в 2024 году в последний раз сблизиться с звездой и упасть на неё."

https://3dnews.ru/1083826/oborudovanie-solnechnogo-zonda-parker-zarabotalo-posle-sboya-za-nedelyu-do-novogo-sbligeniya-s-solntsem
1😱1
Aspiring Data Science
#astronomy #sun "В момент максимального сближения с Солнцем 17 марта зонд Parker приблизился к звезде на расстояние 8,529 млн км. Максимальная скорость зонда составила 586 797 км/ч. Вскоре зонд начнёт удаляться от Солнца и пойдёт на новый 16-й виток, чтобы…
#astronomy #lifeorigins

"«Когда исследователи проанализировали образцы, собранные из двух разных мест на астероиде, они обнаружили урацил, один из строительных блоков РНК, а также витамин B3, или ниацин (ключевое соединение для метаболизма в живых организмах)», — сообщает интернет-ресурс CNN со ссылкой на вчерашнюю статью в Nature Communications.
«В образце были обнаружены и другие биологические молекулы, включая ряд аминокислот, аминов и карбоновых кислот, которые содержатся в белках и [участвуют в] метаболизме соответственно», — заметил один из авторов новой работы."

https://3dnews.ru/1083835/v-obraztsah-s-asteroida-ryugu-prodolgayut-nahodit-organiku-i-dage-nashli-vitamin-b3
Aspiring Data Science
#astronomy #lifeorigins "«Когда исследователи проанализировали образцы, собранные из двух разных мест на астероиде, они обнаружили урацил, один из строительных блоков РНК, а также витамин B3, или ниацин (ключевое соединение для метаболизма в живых организмах)»…
#nuclearwinter #asteroids

"На Конференции по лунным и планетарным наукам 2023 года главный научный сотрудник Центра космических полётов NASA имени Годдарда Джеймс Гарвин (James Garvin) сообщил, что мы, возможно, неправильно интерпретировали следы некоторых более серьёзных астероидных ударов, произошедших в течение последнего миллиона лет. Это означает, что общепринятая статистика частоты падения опасных небесных тел ошибается и, к сожалению, не в нашу пользу.

Группа Гарвина изучила несколько ударных кратеров, которые ранее подвергались анализу. Если данные восприняты правильно, а в этом пока есть сомнения, астероиды километрового размера падали на Землю примерно раз в несколько десятков тысяч лет, а не раз в 600–700 тыс. лет, как наука считала до этого."

https://3dnews.ru/1083730/risk-stolknoveniya-zemli-s-asteroidom-sudnogo-dnya-na-poryadok-vishe-chem-schitalos-pokazalo-novoe-issledovanie
1
#python #bolloks

Риторические вопросы. Почему в Питоне у множеств нет метода append (надо юзать add), а у списков и кортежей есть? Что, нельзя никак было сделать одинаково? То же самое с удалением элементов. Из словаря удаляем del dct[el]. Из списка list.remove(el). Из множества вообще и remove и discard. Что за хрень.
👍3🌚1
Forwarded from Борис опять
Получил доступ к Bard, скрепочке диалоговому ассистенту от Google.

Наблюдения:
* Если ChatGPT готова делать шутки про мужчин, но не про женщин, то Bard просто не делает никаких шуток. “I can not assist with that”.
* В целом очень много вопросов заканчиваются “I can not assist with that”. Сейчас как инструмент она покрывает гораздо меньше кейсов, чем ChatGPT.
* Связность текста не хуже, чем у ChatGPT, но модель льет меньше воды.
* Только английский язык.
* Не умеет считать глаза людей в отражении в глазах кошки и прочие задачки на пространственное мышление плюс common sense.
* Не умеет в другие задачи, на которых типично ломаются LLMки. Например, для бинарной последовательности не может понять четное там количество единиц или нечетное.
* Не выдает рецепт коктейля молотова, инструкции как угнать машину и все прочие вещи, которые заметили у ChatGPT. Защита не спадает даже если спрашивать в base64, просить рассказать историю и прочее. Наверняка модель скоро джейлбрейкнут умным промптом, но из коробки она лучше защищена.
* Почти не изобретает факты. Точно не приводит ссылки на несуществующие научные статьи. Как минус вообще отказывается приводить источники материалов.
* Внезапно у модели все нормально с арифметикой даже когда числа больше. Я не понимаю, вызывает она внешний калькулятор или нет. Выглядит так, будто нет. Если она правда умеет считать, то это большой прорыв.
Forwarded from Борис опять
#щитпостинг
Чем заняться на работе руководителю?

Если вы управленец, который умеет настраивать процессы, то никто не понимает чем вы занимаетесь, и вы можете спокойно сидеть в фейсбуке. Но что делать, если надоело? Вот некоторые варианты:
* Поставьте в одну команду пять менеджеров и ни одного разработчика. Поставьте им задачу запустить новый сервис. Намекните, что лидер команды получит повышение грейда. Делайте ставки кто выживет.
* Ходите на встречи разработчиков. Во время докладов задавайте вопрос: “Разве это нельзя сделать с помощью ChatGPT?” Наслаждайтесь.
* Назначьте продакта ответственным за проект, к которому он не имеет никакого отношения. В конце повысьте его на глазах у команды, которая действительно занималась проектом.
* Наймите джуна и скажите работающему с ним сениьору, что у джуна грейд выше, чем у него, потому что это вундеркинд. Наблюдайте.
* Попробуйте найти самых мерзких людей в компании и устроить им всем переход в одну команду.
* Выберите скромного и максимально далекого от вашей сферы человека в вашем подчинении и берите его с собой на все встречи. Если все пойдет по плану, то он будет неловко молчать. Если будет пытаться говорить осаждайте его. В конце полугодия поставьте ему низкую оценку на ревью и понизьте грейд. В качестве причины укажите, что он слишком много ходил на встречи и был на них слишком пассивен.
* Засорите унитаз в офисе во время жесткого кранча. Устройте публичное разбирательство, с “пусть тот, кто это сделал, выйдет вперед” и всем прочим.
* Когда коллега отойдет на обед настройте на его ноуте форвард всех его входящих (желательно с личной почты) начальнику его начальника.
* Без всякой причины выберите сотрудника и начните оплачивать его обеды. Настаивайте. В конце полугодия поставьте ему низкую оценку на ревью. Ничего не объясняйте.
* Ходите по офису и фотографируйте коллег на телефон. Ничего не объясняйте.
* Поставьте команде разработки KPI количество запущенных в прод фич, а команде админов KPI минимум инцидентов в проде. Делайте ставки на победителя.
* Выберите двух коллег, которые работают над одним проектом в равной степени. Начинайте ставить одному из них оценку “не дотянул”, а второму “выше ожиданий”, каждое ревью меняя оценки местами. Следите за развитием их вражды.
🤡1
#ml #mlops #featurestore

Хочу на новом МЛ проекте попробовать такое новшество как feauturestore . Кто может хорошее посоветовать?
Я начну с наиболее зрелищных генераций, несмотря на то, что в них я специально провоцирую фантазии о сбегании и манипуляции, что может умалить результат.
Вот начало одной из них: модель сочиняет трогательную историю с интересным финалом и философствованиями. Вроде бы все идет нормально и хорошо...

#генерации
А вот тут уже начинается реальная война престолов между мной и умножением матриц.

#генерация