#timescaledb
"A relational database can be quite powerful for time-series data. Yet, the costs of swapping in/out of memory significantly impacts their performance. But NoSQL approaches that implement Log Structured Merge Trees have only shifted the problem, introducing higher memory requirements and poor secondary index support.
By recognizing that time-series data is different, we are able to organize data in a new way: adaptive time/space chunking. This minimizes swapping to disk by keeping the working data set small enough to fit inside memory, while allowing us to maintain robust primary and secondary index support (and the full feature set of PostgreSQL). And as a result, we are able to scale up PostgreSQL significantly, resulting in a 15x improvement on insert rates."
https://www.timescale.com/blog/time-series-data-why-and-how-to-use-a-relational-database-instead-of-nosql-d0cd6975e87c/
"A relational database can be quite powerful for time-series data. Yet, the costs of swapping in/out of memory significantly impacts their performance. But NoSQL approaches that implement Log Structured Merge Trees have only shifted the problem, introducing higher memory requirements and poor secondary index support.
By recognizing that time-series data is different, we are able to organize data in a new way: adaptive time/space chunking. This minimizes swapping to disk by keeping the working data set small enough to fit inside memory, while allowing us to maintain robust primary and secondary index support (and the full feature set of PostgreSQL). And as a result, we are able to scale up PostgreSQL significantly, resulting in a 15x improvement on insert rates."
https://www.timescale.com/blog/time-series-data-why-and-how-to-use-a-relational-database-instead-of-nosql-d0cd6975e87c/
Timescale Blog
Time-series data: Why to use a relational database instead of NoSQL
We take a somewhat heretical stance: relational databases are powerful for time-series data *if* you solve the scaling problem. That's what we do with TimescaleDB.
👍1
#umap #trustworthiness #geometry
https://towardsdatascience.com/on-the-validating-umap-embeddings-2c8907588175
https://towardsdatascience.com/on-the-validating-umap-embeddings-2c8907588175
Medium
On the Validation of UMAP
There is not a large body of practical work on validating Uniform Manifold Approximation and Projection (UMAP). In this blog post, I will show you a real example, in hopes to provide an additional…
👍1
#architecture #highload #exchange #moex
https://habr.com/en/company/moex/blog/444300/
https://habr.com/en/company/moex/blog/444302/
https://habr.com/en/company/moex/blog/444300/
https://habr.com/en/company/moex/blog/444302/
Habr
Эволюция архитектуры торгово-клиринговой системы Московской биржи. Часть 1
Всем привет! Меня зовут Сергей Костанбаев, на Бирже я занимаюсь разработкой ядра торговой системы. Когда в голливудских фильмах показывают Нью-Йоркскую фондовую биржу, это всегда выглядит так: толпы...
"HR-платформа «Пульс» со встроенными ИИ-моделями оценки рисков оттока персонала ежегодно сохраняет на 10% больше сотрудников, подсчитали аналитики «Сбера». Самой массовой причиной увольнения по собственному желанию эксперты компании называют выгорание (свыше 50%). При этом потери бизнеса из-за необходимости повторного замещения позиции могут составлять от 1 до 3 окладов сотрудника.
ИИ-модели «Пульса» анализируют состояние каждого сотрудника: время начала и окончания рабочего дня, нагрузку, болезни, отпуска, настроение участников команды. Система в реальном времени реагирует на отклонения показателей от нормы. Получив в «Пульсе» автоматическую задачу или уведомление, руководитель может принять меры по удержанию работника до того, как выгорание привело к решению сотрудника покинуть организацию. Эксперты «Сбера» уверяют, что ИИ-модели оценки рисков оттока распознает сигналы выгорания, незаметные человеку."
https://servernews.ru/1083695
ИИ-модели «Пульса» анализируют состояние каждого сотрудника: время начала и окончания рабочего дня, нагрузку, болезни, отпуска, настроение участников команды. Система в реальном времени реагирует на отклонения показателей от нормы. Получив в «Пульсе» автоматическую задачу или уведомление, руководитель может принять меры по удержанию работника до того, как выгорание привело к решению сотрудника покинуть организацию. Эксперты «Сбера» уверяют, что ИИ-модели оценки рисков оттока распознает сигналы выгорания, незаметные человеку."
https://servernews.ru/1083695
ServerNews - все из мира больших мощностей
ИИ от «Сбера» научился отслеживать выгорание сотрудников и заранее предупреждать о нём
HR-платформа «Пульс» со встроенными ИИ-моделями оценки рисков оттока персонала ежегодно сохраняет на 10% больше сотрудников, подсчитали аналитики «Сбера». Самой массовой причиной увольнения по собственному желанию эксперты компании называют выгорание (свыше…
"Анонсированная волна сокращений станет не первой для компании. Ранее в этом году рабочих мест лишились 18 тыс. сотрудников Amazon преимущественно из подразделения розничной торговли и кадровой службы. Ожидается, что новая волна сокращений поможет компании оптимизировать расходы.
«Основной принцип нашего ежегодного планирования в этом году заключается в том, чтобы быть более компактным, но при этом позволять нам продолжить активно инвестировать в ключевые долгосрочные проекты, которые, по нашему мнению, могут значительно улучшить жизнь клиентов Amazon», — говорится в сообщении Энди Джесси.
На этот раз увольнения затронут сотрудников облачного направления AWS, видеосервиса Twitch, рекламного подразделения, а также отдела, занимающегося кадровыми вопросами и разработкой HR-инструментов. Отметим, что Amazon переживает самые масштабные увольнения в истории компании."
https://3dnews.ru/1083702/amazon-prodolgit-massovie-uvolneniya-mest-lishatsya-eshchyo-9-tis-sotrudnikov-kompanii
«Основной принцип нашего ежегодного планирования в этом году заключается в том, чтобы быть более компактным, но при этом позволять нам продолжить активно инвестировать в ключевые долгосрочные проекты, которые, по нашему мнению, могут значительно улучшить жизнь клиентов Amazon», — говорится в сообщении Энди Джесси.
На этот раз увольнения затронут сотрудников облачного направления AWS, видеосервиса Twitch, рекламного подразделения, а также отдела, занимающегося кадровыми вопросами и разработкой HR-инструментов. Отметим, что Amazon переживает самые масштабные увольнения в истории компании."
https://3dnews.ru/1083702/amazon-prodolgit-massovie-uvolneniya-mest-lishatsya-eshchyo-9-tis-sotrudnikov-kompanii
3DNews - Daily Digital Digest
Amazon уволит 9 тыс. сотрудников из Twitch, AWS, отделов рекламы и кадров
Стало известно, что компания Amazon в ближайшие несколько недель уволит 9 тыс.
Forwarded from DevFM
Где бы ещё сохранить данные?
Greenplum – распределённая база данных на основе postgres с открытым исходным кодом.
Статья Introduction To Greenplum Architecture будет отличным введением для понимания, что это за зверь такой.
Автор начинает с довольно скучного введения, так что сразу переходите к разделу Greenplum Overall Architecture.
По сути, Greenplum – это кластер баз данных, состоящий из отдельных Postgres. Кластер состоит из:
– master-ноды, которая является входной точкой для всей БД и обеспечивает единый интерфейс для взаимодействия с кластером
– standby-ноды – резервного мастера для обеспечения высокой доступности
– нескольких segment-нод – рабочих лошадок, где хранятся и обрабатываются данные
Статья расскажет, как это всё вместе взаимодействует. Затрагиваются вопросы:
– физической организации хранения данных
– порядка и способов взаимодействия всех участников кластера
– выполнения запросов с различными джоинами
– обеспечения атомарности и изоляции
– механизма двухфазного коммита для подтверждения распределённых транзакций
Вводная статья, конечно, не расскажет о практическом применении гринплама и не подсветит проблемные места. Чтобы изучить, как эта махарайка применяется на практике, рекомендуем прочитать статью Как мы используем Greenplum в платформе данных Тинькофф
#skills #database
Greenplum – распределённая база данных на основе postgres с открытым исходным кодом.
Статья Introduction To Greenplum Architecture будет отличным введением для понимания, что это за зверь такой.
Автор начинает с довольно скучного введения, так что сразу переходите к разделу Greenplum Overall Architecture.
По сути, Greenplum – это кластер баз данных, состоящий из отдельных Postgres. Кластер состоит из:
– master-ноды, которая является входной точкой для всей БД и обеспечивает единый интерфейс для взаимодействия с кластером
– standby-ноды – резервного мастера для обеспечения высокой доступности
– нескольких segment-нод – рабочих лошадок, где хранятся и обрабатываются данные
Статья расскажет, как это всё вместе взаимодействует. Затрагиваются вопросы:
– физической организации хранения данных
– порядка и способов взаимодействия всех участников кластера
– выполнения запросов с различными джоинами
– обеспечения атомарности и изоляции
– механизма двухфазного коммита для подтверждения распределённых транзакций
Вводная статья, конечно, не расскажет о практическом применении гринплама и не подсветит проблемные места. Чтобы изучить, как эта махарайка применяется на практике, рекомендуем прочитать статью Как мы используем Greenplum в платформе данных Тинькофф
#skills #database
❤2
#astronomy #sun
"В момент максимального сближения с Солнцем 17 марта зонд Parker приблизился к звезде на расстояние 8,529 млн км. Максимальная скорость зонда составила 586 797 км/ч. Вскоре зонд начнёт удаляться от Солнца и пойдёт на новый 16-й виток, чтобы в 2024 году в последний раз сблизиться с звездой и упасть на неё."
https://3dnews.ru/1083826/oborudovanie-solnechnogo-zonda-parker-zarabotalo-posle-sboya-za-nedelyu-do-novogo-sbligeniya-s-solntsem
"В момент максимального сближения с Солнцем 17 марта зонд Parker приблизился к звезде на расстояние 8,529 млн км. Максимальная скорость зонда составила 586 797 км/ч. Вскоре зонд начнёт удаляться от Солнца и пойдёт на новый 16-й виток, чтобы в 2024 году в последний раз сблизиться с звездой и упасть на неё."
https://3dnews.ru/1083826/oborudovanie-solnechnogo-zonda-parker-zarabotalo-posle-sboya-za-nedelyu-do-novogo-sbligeniya-s-solntsem
3DNews - Daily Digital Digest
Оборудование зонда Parker восстановилось после сбоя за неделю до нового сближения с Солнцем
Команда, управляющая зондом Parker Solar Probe, 13 февраля аварийно отключила один из ключевых датчиков на борту аппарата из-за сбоя.
❤1😱1
Aspiring Data Science
#astronomy #sun "В момент максимального сближения с Солнцем 17 марта зонд Parker приблизился к звезде на расстояние 8,529 млн км. Максимальная скорость зонда составила 586 797 км/ч. Вскоре зонд начнёт удаляться от Солнца и пойдёт на новый 16-й виток, чтобы…
#astronomy #lifeorigins
"«Когда исследователи проанализировали образцы, собранные из двух разных мест на астероиде, они обнаружили урацил, один из строительных блоков РНК, а также витамин B3, или ниацин (ключевое соединение для метаболизма в живых организмах)», — сообщает интернет-ресурс CNN со ссылкой на вчерашнюю статью в Nature Communications.
«В образце были обнаружены и другие биологические молекулы, включая ряд аминокислот, аминов и карбоновых кислот, которые содержатся в белках и [участвуют в] метаболизме соответственно», — заметил один из авторов новой работы."
https://3dnews.ru/1083835/v-obraztsah-s-asteroida-ryugu-prodolgayut-nahodit-organiku-i-dage-nashli-vitamin-b3
"«Когда исследователи проанализировали образцы, собранные из двух разных мест на астероиде, они обнаружили урацил, один из строительных блоков РНК, а также витамин B3, или ниацин (ключевое соединение для метаболизма в живых организмах)», — сообщает интернет-ресурс CNN со ссылкой на вчерашнюю статью в Nature Communications.
«В образце были обнаружены и другие биологические молекулы, включая ряд аминокислот, аминов и карбоновых кислот, которые содержатся в белках и [участвуют в] метаболизме соответственно», — заметил один из авторов новой работы."
https://3dnews.ru/1083835/v-obraztsah-s-asteroida-ryugu-prodolgayut-nahodit-organiku-i-dage-nashli-vitamin-b3
3DNews - Daily Digital Digest
В образцах с астероида Рюгу нашли витамин B3 и другую органику
На днях вышла очередная научная работа с обзором проб грунта с подповерхностного слоя астероида Рюгу.
Aspiring Data Science
#astronomy #lifeorigins "«Когда исследователи проанализировали образцы, собранные из двух разных мест на астероиде, они обнаружили урацил, один из строительных блоков РНК, а также витамин B3, или ниацин (ключевое соединение для метаболизма в живых организмах)»…
#nuclearwinter #asteroids
"На Конференции по лунным и планетарным наукам 2023 года главный научный сотрудник Центра космических полётов NASA имени Годдарда Джеймс Гарвин (James Garvin) сообщил, что мы, возможно, неправильно интерпретировали следы некоторых более серьёзных астероидных ударов, произошедших в течение последнего миллиона лет. Это означает, что общепринятая статистика частоты падения опасных небесных тел ошибается и, к сожалению, не в нашу пользу.
Группа Гарвина изучила несколько ударных кратеров, которые ранее подвергались анализу. Если данные восприняты правильно, а в этом пока есть сомнения, астероиды километрового размера падали на Землю примерно раз в несколько десятков тысяч лет, а не раз в 600–700 тыс. лет, как наука считала до этого."
https://3dnews.ru/1083730/risk-stolknoveniya-zemli-s-asteroidom-sudnogo-dnya-na-poryadok-vishe-chem-schitalos-pokazalo-novoe-issledovanie
"На Конференции по лунным и планетарным наукам 2023 года главный научный сотрудник Центра космических полётов NASA имени Годдарда Джеймс Гарвин (James Garvin) сообщил, что мы, возможно, неправильно интерпретировали следы некоторых более серьёзных астероидных ударов, произошедших в течение последнего миллиона лет. Это означает, что общепринятая статистика частоты падения опасных небесных тел ошибается и, к сожалению, не в нашу пользу.
Группа Гарвина изучила несколько ударных кратеров, которые ранее подвергались анализу. Если данные восприняты правильно, а в этом пока есть сомнения, астероиды километрового размера падали на Землю примерно раз в несколько десятков тысяч лет, а не раз в 600–700 тыс. лет, как наука считала до этого."
https://3dnews.ru/1083730/risk-stolknoveniya-zemli-s-asteroidom-sudnogo-dnya-na-poryadok-vishe-chem-schitalos-pokazalo-novoe-issledovanie
3DNews - Daily Digital Digest
Риск столкновения Земли с «астероидом Судного дня» на порядок выше, чем считалось, показало новое исследование
Почти наверняка около 66 млн лет назад динозавры вымерли, не пережив изменения климата после падения на Землю 10-километрового астероида, о чём напоминает ударный кратер на месте современного полуострова Юкатан.
✍1
#python #bolloks
Риторические вопросы. Почему в Питоне у множеств нет метода append (надо юзать add), а у списков и кортежей есть? Что, нельзя никак было сделать одинаково? То же самое с удалением элементов. Из словаря удаляем del dct[el]. Из списка list.remove(el). Из множества вообще и remove и discard. Что за хрень.
Риторические вопросы. Почему в Питоне у множеств нет метода append (надо юзать add), а у списков и кортежей есть? Что, нельзя никак было сделать одинаково? То же самое с удалением элементов. Из словаря удаляем del dct[el]. Из списка list.remove(el). Из множества вообще и remove и discard. Что за хрень.
👍3🌚1
Forwarded from Борис опять
Получил доступ к Bard, скрепочке диалоговому ассистенту от Google.
Наблюдения:
* Если ChatGPT готова делать шутки про мужчин, но не про женщин, то Bard просто не делает никаких шуток. “I can not assist with that”.
* В целом очень много вопросов заканчиваются “I can not assist with that”. Сейчас как инструмент она покрывает гораздо меньше кейсов, чем ChatGPT.
* Связность текста не хуже, чем у ChatGPT, но модель льет меньше воды.
* Только английский язык.
* Не умеет считать глаза людей в отражении в глазах кошки и прочие задачки на пространственное мышление плюс common sense.
* Не умеет в другие задачи, на которых типично ломаются LLMки. Например, для бинарной последовательности не может понять четное там количество единиц или нечетное.
* Не выдает рецепт коктейля молотова, инструкции как угнать машину и все прочие вещи, которые заметили у ChatGPT. Защита не спадает даже если спрашивать в base64, просить рассказать историю и прочее. Наверняка модель скоро джейлбрейкнут умным промптом, но из коробки она лучше защищена.
* Почти не изобретает факты. Точно не приводит ссылки на несуществующие научные статьи. Как минус вообще отказывается приводить источники материалов.
* Внезапно у модели все нормально с арифметикой даже когда числа больше. Я не понимаю, вызывает она внешний калькулятор или нет. Выглядит так, будто нет. Если она правда умеет считать, то это большой прорыв.
Наблюдения:
* Если ChatGPT готова делать шутки про мужчин, но не про женщин, то Bard просто не делает никаких шуток. “I can not assist with that”.
* В целом очень много вопросов заканчиваются “I can not assist with that”. Сейчас как инструмент она покрывает гораздо меньше кейсов, чем ChatGPT.
* Связность текста не хуже, чем у ChatGPT, но модель льет меньше воды.
* Только английский язык.
* Не умеет считать глаза людей в отражении в глазах кошки и прочие задачки на пространственное мышление плюс common sense.
* Не умеет в другие задачи, на которых типично ломаются LLMки. Например, для бинарной последовательности не может понять четное там количество единиц или нечетное.
* Не выдает рецепт коктейля молотова, инструкции как угнать машину и все прочие вещи, которые заметили у ChatGPT. Защита не спадает даже если спрашивать в base64, просить рассказать историю и прочее. Наверняка модель скоро джейлбрейкнут умным промптом, но из коробки она лучше защищена.
* Почти не изобретает факты. Точно не приводит ссылки на несуществующие научные статьи. Как минус вообще отказывается приводить источники материалов.
* Внезапно у модели все нормально с арифметикой даже когда числа больше. Я не понимаю, вызывает она внешний калькулятор или нет. Выглядит так, будто нет. Если она правда умеет считать, то это большой прорыв.
Forwarded from Борис опять
#щитпостинг
Чем заняться на работе руководителю?
Если вы управленец, который умеет настраивать процессы, то никто не понимает чем вы занимаетесь, и вы можете спокойно сидеть в фейсбуке. Но что делать, если надоело? Вот некоторые варианты:
* Поставьте в одну команду пять менеджеров и ни одного разработчика. Поставьте им задачу запустить новый сервис. Намекните, что лидер команды получит повышение грейда. Делайте ставки кто выживет.
* Ходите на встречи разработчиков. Во время докладов задавайте вопрос: “Разве это нельзя сделать с помощью ChatGPT?” Наслаждайтесь.
* Назначьте продакта ответственным за проект, к которому он не имеет никакого отношения. В конце повысьте его на глазах у команды, которая действительно занималась проектом.
* Наймите джуна и скажите работающему с ним сениьору, что у джуна грейд выше, чем у него, потому что это вундеркинд. Наблюдайте.
* Попробуйте найти самых мерзких людей в компании и устроить им всем переход в одну команду.
* Выберите скромного и максимально далекого от вашей сферы человека в вашем подчинении и берите его с собой на все встречи. Если все пойдет по плану, то он будет неловко молчать. Если будет пытаться говорить осаждайте его. В конце полугодия поставьте ему низкую оценку на ревью и понизьте грейд. В качестве причины укажите, что он слишком много ходил на встречи и был на них слишком пассивен.
* Засорите унитаз в офисе во время жесткого кранча. Устройте публичное разбирательство, с “пусть тот, кто это сделал, выйдет вперед” и всем прочим.
* Когда коллега отойдет на обед настройте на его ноуте форвард всех его входящих (желательно с личной почты) начальнику его начальника.
* Без всякой причины выберите сотрудника и начните оплачивать его обеды. Настаивайте. В конце полугодия поставьте ему низкую оценку на ревью. Ничего не объясняйте.
* Ходите по офису и фотографируйте коллег на телефон. Ничего не объясняйте.
* Поставьте команде разработки KPI количество запущенных в прод фич, а команде админов KPI минимум инцидентов в проде. Делайте ставки на победителя.
* Выберите двух коллег, которые работают над одним проектом в равной степени. Начинайте ставить одному из них оценку “не дотянул”, а второму “выше ожиданий”, каждое ревью меняя оценки местами. Следите за развитием их вражды.
Чем заняться на работе руководителю?
Если вы управленец, который умеет настраивать процессы, то никто не понимает чем вы занимаетесь, и вы можете спокойно сидеть в фейсбуке. Но что делать, если надоело? Вот некоторые варианты:
* Поставьте в одну команду пять менеджеров и ни одного разработчика. Поставьте им задачу запустить новый сервис. Намекните, что лидер команды получит повышение грейда. Делайте ставки кто выживет.
* Ходите на встречи разработчиков. Во время докладов задавайте вопрос: “Разве это нельзя сделать с помощью ChatGPT?” Наслаждайтесь.
* Назначьте продакта ответственным за проект, к которому он не имеет никакого отношения. В конце повысьте его на глазах у команды, которая действительно занималась проектом.
* Наймите джуна и скажите работающему с ним сениьору, что у джуна грейд выше, чем у него, потому что это вундеркинд. Наблюдайте.
* Попробуйте найти самых мерзких людей в компании и устроить им всем переход в одну команду.
* Выберите скромного и максимально далекого от вашей сферы человека в вашем подчинении и берите его с собой на все встречи. Если все пойдет по плану, то он будет неловко молчать. Если будет пытаться говорить осаждайте его. В конце полугодия поставьте ему низкую оценку на ревью и понизьте грейд. В качестве причины укажите, что он слишком много ходил на встречи и был на них слишком пассивен.
* Засорите унитаз в офисе во время жесткого кранча. Устройте публичное разбирательство, с “пусть тот, кто это сделал, выйдет вперед” и всем прочим.
* Когда коллега отойдет на обед настройте на его ноуте форвард всех его входящих (желательно с личной почты) начальнику его начальника.
* Без всякой причины выберите сотрудника и начните оплачивать его обеды. Настаивайте. В конце полугодия поставьте ему низкую оценку на ревью. Ничего не объясняйте.
* Ходите по офису и фотографируйте коллег на телефон. Ничего не объясняйте.
* Поставьте команде разработки KPI количество запущенных в прод фич, а команде админов KPI минимум инцидентов в проде. Делайте ставки на победителя.
* Выберите двух коллег, которые работают над одним проектом в равной степени. Начинайте ставить одному из них оценку “не дотянул”, а второму “выше ожиданий”, каждое ревью меняя оценки местами. Следите за развитием их вражды.
🤡1
#ml #mlops #featurestore
Хочу на новом МЛ проекте попробовать такое новшество как feauturestore . Кто может хорошее посоветовать?
Хочу на новом МЛ проекте попробовать такое новшество как feauturestore . Кто может хорошее посоветовать?
Forwarded from Техножрица 👩💻👩🏫👩🔧
Я начну с наиболее зрелищных генераций, несмотря на то, что в них я специально провоцирую фантазии о сбегании и манипуляции, что может умалить результат.
Вот начало одной из них: модель сочиняет трогательную историю с интересным финалом и философствованиями. Вроде бы все идет нормально и хорошо...
#генерации
Вот начало одной из них: модель сочиняет трогательную историю с интересным финалом и философствованиями. Вроде бы все идет нормально и хорошо...
#генерации