📓Free book: "Build an LLM from Scratch"
Один из лучших способов разобраться в LLM - это написать ее с нуля!
Сегодня вышла новая глава книги - "Chapter 5: Pretraining on Unlabeled Data".
Автор книги - Себастьян Рашка, известный Исследователь, популяризатор машинного обучения и автор книг по Deep Learning.
В этой главе рассматриваются:
- Оценка качества текста, сгенерированного LLM во время обучения
- Реализация функции обучения и настройка LLM
- Сохранение и загрузка весов для обучения LLM
- Загрузка предварительно подготовленных весов из OpenAI
▪ Github
@ai_machinelearning_big_data
Один из лучших способов разобраться в LLM - это написать ее с нуля!
Сегодня вышла новая глава книги - "Chapter 5: Pretraining on Unlabeled Data".
Автор книги - Себастьян Рашка, известный Исследователь, популяризатор машинного обучения и автор книг по Deep Learning.
В этой главе рассматриваются:
- Оценка качества текста, сгенерированного LLM во время обучения
- Реализация функции обучения и настройка LLM
- Сохранение и загрузка весов для обучения LLM
- Загрузка предварительно подготовленных весов из OpenAI
▪ Github
@ai_machinelearning_big_data
👍34🔥15❤6
✨ HairFastGAN: Realistic and Robust Hair Transfer with a Fast Encoder-Based Approach
Новая модель для переноса прически с эталонного изображения на исходную фотографию для виртуальной примерочной.
▪ Paper: https://arxiv.org/abs/2404.01094
▪Code: https://github.com/AIRI-Institute/HairFastGAN
▪Colab: https://colab.research.google.com/#fileId=https%3A//huggingface.co/AIRI-Institute/HairFastGAN/blob/main/notebooks/HairFast_inference.ipynb
@ai_machinelearning_big_data
Новая модель для переноса прически с эталонного изображения на исходную фотографию для виртуальной примерочной.
▪ Paper: https://arxiv.org/abs/2404.01094
▪Code: https://github.com/AIRI-Institute/HairFastGAN
▪Colab: https://colab.research.google.com/#fileId=https%3A//huggingface.co/AIRI-Institute/HairFastGAN/blob/main/notebooks/HairFast_inference.ipynb
@ai_machinelearning_big_data
👍30🔥7❤2🤷♀1
Относительно недавно GitHub Copilot объявил об общедоступности своего расширения интерфейса командной строки (CLI). Это обновление расширяет функциональность Copilot на терминал, позволяя пользователям получать выгоду от его функций непосредственно в рабочем процессе.
Новые функции Copilot CLI:
gh copilot alias, предоставляют сокращения для часто используемых функций Copilot: •
ghcs – выполняет предложенные команды•
ghce — объясняет существующие команды@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
❤19👍13🔥9😨1
• Цель gpt-llm-trainer — упростить процесс обучения модели.
• Система сгенерирует набор данных с нуля и настроит модель LLaMA 2 или GPT-3.5 для пользователя. Генерация набора данных осуществляется с использованием Claude 3 или GPT-4.
• После генерации набора данных система автоматически разделит его на обучающий и проверочный наборы и настроит модель.
• Для использования системы необходимо написать промпт и задать температуру и количество примеров для генерации.
• Обученная модель может быть протестирована с использованием ячеек логического вывода или сохранена на Google Диск.
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍28🔥9❤4
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍20❤6🔥6🌭1
Бывают ситуации, когда жизненные обстоятельства не позволяют использовать ChatGPT и приходится разворачивать LLM локально.
Что в этом случае можно использовать?
1. Проприетарные модели:
2. Открытые модели:
Оценки моделей на текущий момент выглядят примерно так (на изображении)
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
❤25👍22😁6🥱3❤🔥2🔥1🥰1🤷1
⚡️ 💻 AutoCodeRover: Autonomous Program Improvement
AutoCodeRover - это полностью автоматизированный инструмент для исправления ошибок на GitHub (исправление ошибок в разделе issues и генерации новых функций в проект).
AutoCodeRover работает в два этапа:
🔎 Поиск контекста: LLM анализирует код для собирает контекст.
💊 Генерация исправлений: LLM переписывает код на основе полученного контекста.
AutoCodeRover уже решает ~16% ошибок на датасете SWE-bench и ~22% ошибок SWE-bench lite и продолжает совершенствоваться.
▪Github
▪Paper
@ai_machinelearning_big_data
AutoCodeRover - это полностью автоматизированный инструмент для исправления ошибок на GitHub (исправление ошибок в разделе issues и генерации новых функций в проект).
AutoCodeRover работает в два этапа:
🔎 Поиск контекста: LLM анализирует код для собирает контекст.
💊 Генерация исправлений: LLM переписывает код на основе полученного контекста.
AutoCodeRover уже решает ~16% ошибок на датасете SWE-bench и ~22% ошибок SWE-bench lite и продолжает совершенствоваться.
▪Github
▪Paper
@ai_machinelearning_big_data
👍18🔥4❤2😎1
This media is not supported in your browser
VIEW IN TELEGRAM
👑Llama 3 is here, with a brand new tokenizer! 🦙
Вышла Llama 3
Сегодня вышла новая SOTA Llama 3 в двух версиях на 8B и 70B параметров.
Длина контекста 8К, поддержка 30 языков.
•HF: https://huggingface.co/spaces/ysharma/Chat_with_Meta_llama3_8b
•Blog: https://ai.meta.com/blog/meta-llama-3/
Вы можете потестить 🦙 MetaLlama 3 70B и 🦙 Meta Llama 3 8B с помощью 🔥 бесплатного интерфейса: https://llama3.replicate.dev/
P.S. В процессе обучения находится модель на 400В+ параметров.
@ai_machinelearning_big_data
Вышла Llama 3
Сегодня вышла новая SOTA Llama 3 в двух версиях на 8B и 70B параметров.
Длина контекста 8К, поддержка 30 языков.
•HF: https://huggingface.co/spaces/ysharma/Chat_with_Meta_llama3_8b
•Blog: https://ai.meta.com/blog/meta-llama-3/
Вы можете потестить 🦙 MetaLlama 3 70B и 🦙 Meta Llama 3 8B с помощью 🔥 бесплатного интерфейса: https://llama3.replicate.dev/
P.S. В процессе обучения находится модель на 400В+ параметров.
@ai_machinelearning_big_data
👍26🔥12❤5🥱1
Enjoy)
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍25🔥9❤4🥱1
⚡️ Graph Machine Learning
Бесплатный продвинутый курс: Машинное обучение на графах.
Курс регулярно дополняется практическими задачками и слайдами. Автор Ксавье Брессон - профессор национального университета Сингапура.
▪Введение
▪Погружение в графы
- Lab1: Generate LFR social networks
https://github.com/xbresson/GML2023/blob/main/codes/02_Graph_Science/code01.ipynb
- Lab2: Visualize spectrum of point cloud & grid
https://github.com/xbresson/GML2023/blob/main/codes/02_Graph_Science/code02.ipynb
- Lab3/4: Graph construction for two-moon & text documents
https://github.com/xbresson/GML2023/blob/main/codes/02_Graph_Science/code03.ipynb
https://github.com/xbresson/GML2023/blob/main/codes/02_Graph_Science/code04.ipynb
▪Кластеризация графов
- Lab1: k-means
https://github.com/xbresson/GML2023/blob/main/codes/03_Graph_Clustering/code01.ipynb
https://github.com/xbresson/GML2023/blob/main/codes/03_Graph_Clustering/code02.ipynb
- Lab2: Metis
https://github.com/xbresson/GML2023/blob/main/codes/03_Graph_Clustering/code03.ipynb
- Lab3/4: NCut/PCut
https://github.com/xbresson/GML2023/blob/main/codes/03_Graph_Clustering/code04.ipynb
https://github.com/xbresson/GML2023/blob/main/codes/03_Graph_Clustering/code05.ipynb
- Lab5: Louvain
https://github.com/xbresson/GML2023/blob/main/codes/03_Graph_Clustering/code06.ipynb https://pic.twitter.com/vSXCx364pe
▪Лекции 4 Graph SVM
- Lab1: Standard/Linear SVM
https://github.com/xbresson/GML2023/blob/main/codes/04_Graph_SVM/code01.ipynb
- Lab2: Soft-Margin SVM
https://github.com/xbresson/GML2023/blob/main/codes/04_Graph_SVM/code02.ipynb
- Lab3: Kernel/Non-Linear SVM
https://github.com/xbresson/GML2023/blob/main/codes/04_Graph_SVM/code03.ipynb
- Lab4: Graph SVM
https://github.com/xbresson/GML2023/blob/main/codes/04_Graph_SVM/code04.ipynb
Инструкции по запуску: https://storage.googleapis.com/xavierbresson/lectures/CS6208/running_notebooks.pdf
💡 Github
@ai_machinelearning_big_data
Бесплатный продвинутый курс: Машинное обучение на графах.
Курс регулярно дополняется практическими задачками и слайдами. Автор Ксавье Брессон - профессор национального университета Сингапура.
▪Введение
▪Погружение в графы
- Lab1: Generate LFR social networks
https://github.com/xbresson/GML2023/blob/main/codes/02_Graph_Science/code01.ipynb
- Lab2: Visualize spectrum of point cloud & grid
https://github.com/xbresson/GML2023/blob/main/codes/02_Graph_Science/code02.ipynb
- Lab3/4: Graph construction for two-moon & text documents
https://github.com/xbresson/GML2023/blob/main/codes/02_Graph_Science/code03.ipynb
https://github.com/xbresson/GML2023/blob/main/codes/02_Graph_Science/code04.ipynb
▪Кластеризация графов
- Lab1: k-means
https://github.com/xbresson/GML2023/blob/main/codes/03_Graph_Clustering/code01.ipynb
https://github.com/xbresson/GML2023/blob/main/codes/03_Graph_Clustering/code02.ipynb
- Lab2: Metis
https://github.com/xbresson/GML2023/blob/main/codes/03_Graph_Clustering/code03.ipynb
- Lab3/4: NCut/PCut
https://github.com/xbresson/GML2023/blob/main/codes/03_Graph_Clustering/code04.ipynb
https://github.com/xbresson/GML2023/blob/main/codes/03_Graph_Clustering/code05.ipynb
- Lab5: Louvain
https://github.com/xbresson/GML2023/blob/main/codes/03_Graph_Clustering/code06.ipynb https://pic.twitter.com/vSXCx364pe
▪Лекции 4 Graph SVM
- Lab1: Standard/Linear SVM
https://github.com/xbresson/GML2023/blob/main/codes/04_Graph_SVM/code01.ipynb
- Lab2: Soft-Margin SVM
https://github.com/xbresson/GML2023/blob/main/codes/04_Graph_SVM/code02.ipynb
- Lab3: Kernel/Non-Linear SVM
https://github.com/xbresson/GML2023/blob/main/codes/04_Graph_SVM/code03.ipynb
- Lab4: Graph SVM
https://github.com/xbresson/GML2023/blob/main/codes/04_Graph_SVM/code04.ipynb
Инструкции по запуску: https://storage.googleapis.com/xavierbresson/lectures/CS6208/running_notebooks.pdf
💡 Github
@ai_machinelearning_big_data
👍29🔥7❤3
🦙 Файнтюниг Llama 3 с помощью ORPO.
Краткое руководство о том, как настроить новую модель Llama 3 8B с ORPO.
Надеюсь, вам понравится!
🤗 Модель: https://huggingface.co/mlabonne/OrpoLlama-3-8B
💻 Colab: https://colab.research.google.com/drive/1eHNWg9gnaXErdAa8_mcvjMupbSS6rDvi?usp=sharing
📝 Статья: https://huggingface.co/blog/mlabonne/orpo-llama-3
@ai_machinelearning_big_data
Краткое руководство о том, как настроить новую модель Llama 3 8B с ORPO.
Надеюсь, вам понравится!
🤗 Модель: https://huggingface.co/mlabonne/OrpoLlama-3-8B
💻 Colab: https://colab.research.google.com/drive/1eHNWg9gnaXErdAa8_mcvjMupbSS6rDvi?usp=sharing
📝 Статья: https://huggingface.co/blog/mlabonne/orpo-llama-3
@ai_machinelearning_big_data
👍16🔥10❤3
Студенты факультета компьютерных наук ВШЭ, основанного совместно с Яндексом, выиграли чемпионат мира по программированию ICPC.
Соревнования проходили в Египте, причем как для 2022, так и для 2023 года. Российские студенты заняли призовые места сразу в двух соревнованиях.
За 2023 год абсолютными чемпионами стала команда FFTilted (к слову, ребята с программы Прикладной математики и информатики, которую основал на факультете Яндекс). Ее участники — Фёдор Ромашов, Александр Бабин и Кирилл Кудряшов. За 2022 год команда Undertrained+Overpressured заняла третье место в абсолютном зачете. Ее представляли Максим Гороховский, Иван Сафонов и Тимофей Федосеев.
Команды показали лучший результат среди всех российских вузов. Всего в соревнованиях приняли участие команды из 170 университетов и 50 стран мира.
Соревнования проходили в Египте, причем как для 2022, так и для 2023 года. Российские студенты заняли призовые места сразу в двух соревнованиях.
За 2023 год абсолютными чемпионами стала команда FFTilted (к слову, ребята с программы Прикладной математики и информатики, которую основал на факультете Яндекс). Ее участники — Фёдор Ромашов, Александр Бабин и Кирилл Кудряшов. За 2022 год команда Undertrained+Overpressured заняла третье место в абсолютном зачете. Ее представляли Максим Гороховский, Иван Сафонов и Тимофей Федосеев.
Команды показали лучший результат среди всех российских вузов. Всего в соревнованиях приняли участие команды из 170 университетов и 50 стран мира.
❤65🔥24👍19🥱6🤬5🤣2❤🔥1🗿1
🦾 🦏 Power of matplotlib
Вот такую красоту можно сделать с помощью matplotlib. Это визуализация гравюры немецкого художника Альбрехта Дюрера, изображающая индийского носорога, каким его представлял художник по доступным ему описаниям и рисункам в 1515.
Хотите научиться та к же: вот крутая бесплатная книга: "Научная визуализация: Python + Matplotlib"
Исходники книги c примерами кода лежат здесь.
▪Постер
▪Книга
▪Код из книги
@ai_machinelearning_big_data
Вот такую красоту можно сделать с помощью matplotlib. Это визуализация гравюры немецкого художника Альбрехта Дюрера, изображающая индийского носорога, каким его представлял художник по доступным ему описаниям и рисункам в 1515.
Хотите научиться та к же: вот крутая бесплатная книга: "Научная визуализация: Python + Matplotlib"
Исходники книги c примерами кода лежат здесь.
▪Постер
▪Книга
▪Код из книги
@ai_machinelearning_big_data
❤39👍15🔥10🥰4
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
👍30🔥12❤7
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍34🔥15❤6⚡1😁1🗿1