Stable AI выкатили бетку нейросети StableCode для работы с кодом
Есть три варианта модели: базовая (для простых задач), модель для инструкций (для чего-то посложнее) и расширенная с контекстным окном до 16к токенов (для сравнения, в GPT-4 оно составляет 32к). Это означает, что это первая нейросеть для работы с кодом, которая сможет обработать кодовую базу среднего размера, понять ее и предложить новый код.
В основе, конечно, трансформер, но не с обычным Linear Biases вниманием (ALiBi), а с Rotary Position Embedding, идеи которого больше ориентированы именно на работу с кодом, а не с естественным языком. Обучали на наборе данных BigCode.
Бету уже можно попробовать на HuggingFace. С нетерпением ждем официальный релиз!
😻 #news
Есть три варианта модели: базовая (для простых задач), модель для инструкций (для чего-то посложнее) и расширенная с контекстным окном до 16к токенов (для сравнения, в GPT-4 оно составляет 32к). Это означает, что это первая нейросеть для работы с кодом, которая сможет обработать кодовую базу среднего размера, понять ее и предложить новый код.
В основе, конечно, трансформер, но не с обычным Linear Biases вниманием (ALiBi), а с Rotary Position Embedding, идеи которого больше ориентированы именно на работу с кодом, а не с естественным языком. Обучали на наборе данных BigCode.
Бету уже можно попробовать на HuggingFace. С нетерпением ждем официальный релиз!
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯24👍7❤4
Наглядно о том, как работает PCA
PCA – метод главных компонент – это один из самых известных алгоритмов понижения размерности. О том, зачем это нужно и как это работает, мы уже расскали на примере в карточках выше. Хотите, в следующий раз покажем реализацию на python?
😻 #train
PCA – метод главных компонент – это один из самых известных алгоритмов понижения размерности. О том, зачем это нужно и как это работает, мы уже расскали на примере в карточках выше. Хотите, в следующий раз покажем реализацию на python?
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍60🤔7❤1🤯1
Nvidia выпускает суперчип GH200
Спрос порождает предложение, и Nvidia выпускает еще один чип, который, по словам представителей, сможет обрабатывать самые сложные модели генеративного ИИ, LLM и рексисы. GH200 будет иметь тот же графический процессор, что и H100 (в настоящее время самое мощное и популярное, что есть у Nvidia), но в три раза больше памяти.
Обещают, что чип появится в продаже во втором квартале 2024 года. Цену пока не раскрыли – ориентируемся примерно на $50,000.
Ждем ответа от AMD. Или все-таки это монополия Nvidia?
😻 #news
Спрос порождает предложение, и Nvidia выпускает еще один чип, который, по словам представителей, сможет обрабатывать самые сложные модели генеративного ИИ, LLM и рексисы. GH200 будет иметь тот же графический процессор, что и H100 (в настоящее время самое мощное и популярное, что есть у Nvidia), но в три раза больше памяти.
Обещают, что чип появится в продаже во втором квартале 2024 года. Цену пока не раскрыли – ориентируемся примерно на $50,000.
Ждем ответа от AMD. Или все-таки это монополия Nvidia?
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21❤7🌚3
Дописываем собственные методы в pandas
Pandas – прекрасная обширная библиотека, в которой есть куча полезных методов. И все же, у кого из нас не возникало мысли "Как жаль, что именно такого метода, как мне надо, тут нет!"...
Так вот, оказывается, pandas настолько гибкий, что мы можем добавить прямо в библиотеку любой метод, который нам вздумается. Показали на примере, как это сделать.
😻 #python
Pandas – прекрасная обширная библиотека, в которой есть куча полезных методов. И все же, у кого из нас не возникало мысли "Как жаль, что именно такого метода, как мне надо, тут нет!"...
Так вот, оказывается, pandas настолько гибкий, что мы можем добавить прямо в библиотеку любой метод, который нам вздумается. Показали на примере, как это сделать.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍67🔥9🤪9🗿2❤1🤯1
Отличная пдфка от Данила Звягинцева про плохие паттерны в датавизе
В наборе:
- отсутствие контекста данных
- попытка угодить каждому
- много визуального шума (цветов, дизайн элементов, картинок и тд)
- непонятные заголовки
- обман графиками: манипуляции осями, 3D
- отсутствие темплейтов и стандартизации
- отсутствие выводов и призывов к действию
😻 #analytics
В наборе:
- отсутствие контекста данных
- попытка угодить каждому
- много визуального шума (цветов, дизайн элементов, картинок и тд)
- непонятные заголовки
- обман графиками: манипуляции осями, 3D
- отсутствие темплейтов и стандартизации
- отсутствие выводов и призывов к действию
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19❤4
Вышла новая версия LightGBM
С версии 3.3.1 библиотека обновилась сразу до 4.0.0.
– На CPU теперь будет работать еще в 2 раза быстрее
– CUDA-релиз полностью переписали и перенесли на GPU больше операций
– Поддержка pandas nullable types
– Теперь не обязательно устанавливать scikit-learn
Про остальные изменения можно почитать по ссылке. Кто-нибудь уже обновился?
😻 #python #news
С версии 3.3.1 библиотека обновилась сразу до 4.0.0.
– На CPU теперь будет работать еще в 2 раза быстрее
– CUDA-релиз полностью переписали и перенесли на GPU больше операций
– Поддержка pandas nullable types
– Теперь не обязательно устанавливать scikit-learn
Про остальные изменения можно почитать по ссылке. Кто-нибудь уже обновился?
Please open Telegram to view this post
VIEW IN TELEGRAM
👍41❤6🔥4⚡2🌭2🤩1