Ebout Data Science | Дима Савелко – Telegram
Ebout Data Science | Дима Савелко
@eboutdatascience
2.69K subscribers
200 photos
19 videos
101 links
Ebout Data Science by @ngmdite | По поводу менторства пиши на @savelkoteam
Download Telegram
About
Blog
Apps
Platform
Join
Ebout Data Science | Дима Савелко
2.69K subscribers
Ebout Data Science | Дима Савелко
Десять Сталинских ударов NVIDIA по соревнованию по RecSys 🪖
❤‍🔥4💯1👀1
1.16K viewsedited  
Ebout Data Science | Дима Савелко
HuggingChat - конкурент ChatGPT с открытым исходным кодом 🤗

HuggingFace выпустила свой аналог ChatGPT, в основе которого лежит модель 30B параметров, когда в ChatGPT 170B.
(HuggingChat имеет под собой oasst-sft-6-llama-30b)

Интерфейс похож на ChatGPT, но на деле может порой выдавать странные вещи особенно на русском языке, но на английском более менее адекватно 🔥

HuggingChat, Модель
🔥4👍2👀1
1.48K views
Ebout Data Science | Дима Савелко
 
Как мы чуть не уничтожили хакатон по МТС

Задача
Нужно сделать сервис для людей с проблемами зрения, который помогал бы им смотреть фильм.

Решение:
У каждого фильма есть свои сцены
1 сцена: ♂️ Американец и Азиат стоят в раздевалке и смотрят на друг друга ♂️
2 сцена: ♂️ Они начинают бороться ♂️
3 сцена: ....

И к каждой сцене я могу сделать текстовое описание, смотря на картинку. Получается задача Scene2Text (Visual Language) и здесь нам помогла модель VinVL, которая и отдаёт описание сцены 🦾

Отделив сцены и дав им описание, мы отправляем всё это дело на фронт, где и склеивается наш ролик 🤖

Решение крутилось на nginx, Flask в Docker-контейнерах

Итог:
Мы заняли никакое место, хоть и постарались учесть и продуктовую и техническую часть. Поэтому запомните, что красивая презентация и внешняя картинка вашего продукта может сыграть ключевую роль 🏆

GitHub, YouTube
🔥8👍4❤2
2.45K views
Ebout Data Science | Дима Савелко
Уничтожение Алгоритмов

Чтобы попасть в tier-one компанию вы должны лайкодить, а для этого нужно уничтожать алгоритмы и структуры данных

Вот ресурсы для низведения до нуля алгоритмов и структур данных:
1️⃣ NeetCode - работник гугла, очень много рассказывает про алгоритмы
2️⃣ RoadMap от NeedCode`a - необходимая и нерушимая база каждого лайвкодера, необходимо убить все эти задачи
3️⃣ Для закрепления ваших знаний и ещё большего погружения в мир алгосов
а) Тренировки по алгоритмам от Яндекса 1.0
 б) Тренировки по алгоритмам от Яндекса 2.0
 в) Тренировки по алгоритмам от Яндекса 3.0
4️⃣ Алгоритмы, Часть I
5️⃣ Специализация Data Structures and Algorithms
6️⃣ LeetCode - святило всех алгоритмов
7️⃣ Сложность алгоритмов
🔥12❤2🐳2👍1🥰1
3.62K viewsedited  
Ebout Data Science | Дима Савелко
💥 Глобальное уничтожение ML/AI & ML System Design 💥

Здесь собрано огромное количество открытых курсов по ML / AI & ML System Design, чтобы уничтожать на собеседованиях, на работе, в соревнованиях.

Torch:
1️⃣ Доклад инженера из Facebook AI Research Эдварда Янга, который состоит из двух частей. Первая - рассматриваются различные типы данных, используемые в PyTorch, и особенности их внутренней реализации, вторая - раскрываются принципы написания собственного ядра на базе PyTorch.
2️⃣ The Tensor Cookbook - книга с математической базой по тензорам, там есть как и жёсткий матан, так и для людей с личной жизнью. Для людей, которые знают, что такое личная жизнь, то вам подойдут главы: 1, 10, 12

Classic ML:
1️⃣ ODS - Open ML Course / DLS - мега база начинающего ML-щика
2️⃣ MLHandbook - параллельно с курсами нужно читать это
3️⃣ Joseph Misiti: awesome-machine-learning - Огромная подборка курсов по DS
4️⃣ ML Cheatsheet Documentation
5️⃣ Конспект по ML

Deep Learning:
1️⃣ ШАД DeepLearning - курс от ШАДа
2️⃣ Catalyst Team: DL_course - Курс по DL от тинька, DLS, Catalyst Team
3️⃣ Эффективный DL от ВШЭ и ШАДа
4️⃣ Эффективный DL от MiT
5️⃣ Имлпементация моделей на торче ❗️
6️⃣ Визуализация архитектур и можно поиграться с ними в гугл таблице
7️⃣ The Little Book of Deep Learning by François Fleuret - База про весь DL с визуализацией
8️⃣ Understanding Optimization of Deep Learning - База про оптимизацию

NLP:
1️⃣ ШАД NLP
2️⃣ ВШЭ NLP
3️⃣ Stanford NLP
4️⃣ Сборник вопросов по NLP для собесов
5️⃣ RoadMap по NLP
6️⃣ GPT from Scratch
7️⃣ Transformer, explained in detail
8️⃣ Полная история GPT
0️⃣ База по NLP от Lena Voita
🔟 NLP Курс от Андрея Карпатого (База) 🌟
1️⃣1️⃣ Блог с разбором разных тем в LLM - полезно для собесов
1️⃣2️⃣ Что такое GPT, Визуализация в трансформеров, Как работает механизм внимания, где ИИ хранит воспоминани - серия роликов от 3Blue1Brown про объяснение работы трансформеров и LLM
➡️RoadMap по уничтожению Трансформеров/LLM◀️


CV:
1️⃣ Stanford CV
2️⃣ MIT CV
3️⃣ Жёсткий курс от Мичигансково универстита по CV

RL:
1️⃣ ШАД RL

RecSys:
1️⃣ MTC. Your first recsys
2️⃣ MTC. Your Second RecSys
3️⃣ Deep Neural Networks for YouTube Recommendations
4️⃣ Preserving Integrity in Online Social Networks
5️⃣ Bag of Tricks for Efficient Text Classification
6️⃣ Wide & Deep Learning for Recommender Systems

Примеры вопросов по ML:
1️⃣ Quant notes
2️⃣ Data science interview questions and answers
3️⃣ 120 data science interview questions
4️⃣ Data-science-interviews

ML System Design:
1️⃣ Deep-Learning-in-Production
2️⃣ Production-Level-Deep-Learning
3️⃣ Monitoring Machine Learning Models in Production
4️⃣ Как в YouDo машинное обучение катится в продакшен
5️⃣ Мой пост про Глобальное унчитожение ML System Design 🥇
6️⃣ Книга Бабушкина по ML System Design
7️⃣ Дока от Валеры Бабушкина по ML System Design

Тренировки:
1️⃣ Задачи по Линейной алгебре/ML/DL, которые можно встретить на собесах

Основу для материалов брал здесь, здесь и на основе собственного опыта
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥21❤9🥰4👍1👀1
6.06K viewsedited  
Ebout Data Science | Дима Савелко
Ebout Data Science | Дима Савелко pinned «Уничтожение Алгоритмов Чтобы попасть в tier-one компанию вы должны лайкодить, а для этого нужно уничтожать алгоритмы и структуры данных Вот ресурсы для низведения до нуля алгоритмов и структур данных: 1️⃣ NeetCode - работник гугла, очень много рассказывает…»
Ebout Data Science | Дима Савелко
Ebout Data Science | Дима Савелко pinned «💥 Глобальное уничтожение ML/AI & ML System Design 💥 Здесь собрано огромное количество открытых курсов по ML / AI & ML System Design, чтобы уничтожать на собеседованиях, на работе, в соревнованиях. Torch: 1️⃣ Доклад инженера из Facebook AI Research Эдварда…»
Ebout Data Science | Дима Савелко
Как GPT-4 только бесплатно 💸

MiniGPT-4 - это модель разработанная ребятами из Саудовской Аравии. Модель выполняет такую же функцию, как и GPT-4, она понимает диалоги и принимает на вход картинки, также с ней можно общаться в форме диалога. Формулирует она предложения порой лучше, чем я, поэтому рекомендую к использованию 🤪. Такие функции на таком уровне ранее не встречались в языковых моделях и моделях визуального восприятия.

Она состоит из LLM модели Vicuna (отвечает за входящий/выходящий текст), а также Vision Transformer (отвечает за картинки).

Обучение MiniGPT-4 происходило в два этапа. Первый, этап предварительной подготовки, проводился на ~5 миллионах пар изображение-текст в течении 10 часов с использованием 4xA100. После первого этапа Vicuna стала способна понимать изображение. На втором этапе модель дообучилась на полученным в результате предыдущего шага наборе данных в виде диалоговых инструкций. В результате значительно улучшилось качество генерации ответов.

YouTube
🔥8❤‍🔥3⚡1❤1👍1🐳1💅1
1.81K views
Ebout Data Science | Дима Савелко
От синьки к зелёнке

Теперь я Middle Data Scientist at Sber, буду заниматься задачами NLP/NLU, а именно llm, генеративные/диффузионные модели (ChatGPT, Stable Diffusion). Сейчас буду заниматься ранжирование сообщейний, которые выходят из внутреннего Сберовского ЧатаХПТ 🥴

Что там я понял за это время: 😬

- никогда не бывает идеально выстраенных бизнесс-процессов в компаниях, всегда будут свои проблемы, которые могут очень неприятным образом вскрыться и через годы 😈

- компании хотят вас завлечь, поэтому не всегда верьте HR-ам, а делайте собвственный ресёрч компании 🤥

- по моему мнению, не стоит убиваться в копрорациях, делайте то, что от вас требуют. рост в больших корпоратах очень тяжёл и тернист, если только вам не предлагают опционы 😲

- удалёнка - имба, если вы имеет самодисциплину, это отличный вариант, чтобы чувствовать себя свободным и иметь огромное количество времени для собвстенного развития 😎

- хороший руководитель и хорошая команда = хорошая рабочий день и улыбка в конце дня, спасибо моей команде за приобритённый опыт 😘

- не забывайте о моралочке, так как работа никуда не уйдёт, а крыша поехать спокойно может 🥰


Благодарю Газ за приобретённый опыт, были и положительные, и отрицательные моменты - это нормально, учиться на ошибках - это не выбор, а необходимость 👆👆👆
🔥15👏6🥰5❤2👍1💯1
1.55K viewsedited  
Ebout Data Science | Дима Савелко
Как обучить свой GPT даже на калькуляторе ?

Модели становятся всё больше и больше, поэтому стоит вопрос ребром про их оптимизацию. Тут на сцену выходит LoRA, делая грязь 💣

Смысл метода состоит в том, что она "исправляет ошибки" уже обученной модели, то есть мы импортируем предобученный трансформер, замораживаем его и делаем файн-тюнинг с помощью LoRA 🤖

И весь сок состоит в том, что LoRA состоит из двух матриц: A и B, размерности которых довольны малы по сравнению с матрицами трансформеров. A и B матрицы имеют размеренность (1, 8) на (длина входного вектора), вот почему LoRA - Low Rank ⚡️
Мы теряем в общности, но и не страшно, по мнению авторов статьи, большинство параметров в моделях "не работают", являются около нулевыми 🤫

Также для обучения требуется малое количество обучаемых параметров, около 3% от замороженной модели, также веса занимают меньше места на диске 💽

Статья на хабре , arxiv , лекция на ютубе , практика на ютубе
🔥10❤2👍1🌭1
1.55K views
Ebout Data Science | Дима Савелко
К посту выше😋
🥰3🕊1😈1
1.3K views
Ebout Data Science | Дима Савелко
Forwarded from Machinelearning
🏆 LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models

13B and 70B 32k models with the supervised fine-tuning, which is feasible for long context

LongLoRA - эффективный подход к файнтюнингу, позволяющий расширить размер контекста предварительно обученных больших языковых моделей (БЯМ) при ограниченных вычислительных затратах.

🖥 Github: https://github.com/dvlab-research/longlora

📕 Paper: https://arxiv.org/abs/2309.12307v1

⭐️ Demo: https://b3cfcf9e79ff42df5f.gradio.live/

⏩ Dataset: https://paperswithcode.com/dataset/pg-19

ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🌭6😱3❤1👍1🐳1
1.41K views