Forwarded from что-то на DL-ском
Мы тут с @lovedeathtransformers подсобрали датасетик с диалогами из жизни.
Мотивация следующая: стало чет очень много инструктивных и Мега-helpful сетов на просторах hf. Но при попытке докинуть чуть человечности в модельку, оказалось, что все сеты диалоговые не такие уж и чистые((. Поэтому вдохновившись генерацией датасетов для ft на LLaMA, мы побежали к API ChatGPT генерировать затравки, а к ним диалоги, их суммаризацию и персону.
🧹 После почистили регулярными выражениями и проверили на верность формата данных каждого столбца. Персона содержит в себе «первый собеседник», чтобы было понятно чья именно, всегда можете заменить или удалить при желании.
Хотелось сделать multi task dataset, опираясь на диалоги, надеюсь у нас это получилось. Если у вас есть предложения, какие бы задачи еще можно было докинуть, welcome в комментарии
А вот и сама репа 🤗
Мотивация следующая: стало чет очень много инструктивных и Мега-helpful сетов на просторах hf. Но при попытке докинуть чуть человечности в модельку, оказалось, что все сеты диалоговые не такие уж и чистые((. Поэтому вдохновившись генерацией датасетов для ft на LLaMA, мы побежали к API ChatGPT генерировать затравки, а к ним диалоги, их суммаризацию и персону.
Хотелось сделать multi task dataset, опираясь на диалоги, надеюсь у нас это получилось. Если у вас есть предложения, какие бы задачи еще можно было докинуть, welcome в комментарии
А вот и сама репа 🤗
Please open Telegram to view this post
VIEW IN TELEGRAM
huggingface.co
zjkarina/matreshka · Datasets at Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
❤🔥22👍8🔥3👎1
Ищу разработчиков discord ботов, писать сюда: @alexeynovik
вы тут угараете, а вы апи видели? я с gpt4охуел это дебажить
вы тут угараете, а вы апи видели? я с gpt4
🥴21😁4💅4❤1👍1🖕1
#чтивонаночь
Tensor parallel для людей??
есть два типа людей: те кто от слосочетания tensor paralel переспрашивают и те кто заработал жесткий стокгольмский синдром, но если просто то мы вместо того чтобы класть жирную модель на GPU целиком отрезаем от нее кусок(есть разные способы, см тут) и затем обновить градиенты по всем устройствам последовательно.
КОРОЧЕ, это полезно когда есть несколько карт с быстрым соеденением и большая модель.
Можно использовать deepspeed(жуть какие ссаки), можно использовать megatron(еще большая мерзость), и то и другое запускается с бубном и болью, а можно использовать легковесную обертку - tensor_parallel и учить на kaggle 2*t4 довольно крупные модели без боли в пальцах.
Ну и это прям oneline штука, докидываешь
model = tp.tensor_parallel(model) и БУМ🤯 все работaет прям из ноутбука, прям без попаболи, а дальше либо кладем в обычный 🤗trainer, либо крутим в своем тренере + чекпоинты будут обычными .pt файлами которые не надо ручками собирать!
pipy🐍
quick start
FineTune llama13b на kaggle в int8
Tensor parallel для людей??
есть два типа людей: те кто от слосочетания tensor paralel переспрашивают и те кто заработал жесткий стокгольмский синдром, но если просто то мы вместо того чтобы класть жирную модель на GPU целиком отрезаем от нее кусок(есть разные способы, см тут) и затем обновить градиенты по всем устройствам последовательно.
КОРОЧЕ, это полезно когда есть несколько карт с быстрым соеденением и большая модель.
Можно использовать deepspeed(жуть какие ссаки), можно использовать megatron(еще большая мерзость), и то и другое запускается с бубном и болью, а можно использовать легковесную обертку - tensor_parallel и учить на kaggle 2*t4 довольно крупные модели без боли в пальцах.
Ну и это прям oneline штука, докидываешь
model = tp.tensor_parallel(model) и БУМ
pipy
quick start
FineTune llama13b на kaggle в int8
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥50🤔5👍2❤1
Data Secrets — журнал в области науки о данных.
Здесь ребята просто и практично расскажут про Big Data, нейросети, анализ данных и многое другое.
В канале вы найдете:
– Гайд "Как задеплоить модель с помощью FastAPI";
– Интересные трюки по оптимизации памяти;
– Прозрачные обзоры алгоритмов глубокого обучения;
– Математику для Data Science на пальцах;
– Забавные пересказы новых статей.
Присоединяйтесь по ссылке @data_secrets и становитесь экспертом в области науки о данных!
#реклама
Здесь ребята просто и практично расскажут про Big Data, нейросети, анализ данных и многое другое.
В канале вы найдете:
– Гайд "Как задеплоить модель с помощью FastAPI";
– Интересные трюки по оптимизации памяти;
– Прозрачные обзоры алгоритмов глубокого обучения;
– Математику для Data Science на пальцах;
– Забавные пересказы новых статей.
Присоединяйтесь по ссылке @data_secrets и становитесь экспертом в области науки о данных!
#реклама
🤮33💩16👎7🔥3👍2
-Вот в наше то время модели пилил какие хочется, сразу заливая на huggingface, а то и на google drive и никакой регистрации...
-Дайте уже деду таблеток, он опять начал рассказывать что модели можно было без подписей выкладывать!!
-Дайте уже деду таблеток, он опять начал рассказывать что модели можно было без подписей выкладывать!!
👍70😢30🌭6🖕2💔1
HF x Bio hackathon
В общем bioml хакатон, пачка задач на выбор, бесплатные апи/вычислительные кредиты, да и в целом прикольный движ
Где: везде🌎
Ссылка
В общем bioml хакатон, пачка задач на выбор, бесплатные апи/вычислительные кредиты, да и в целом прикольный движ
Где: везде
Ссылка
Please open Telegram to view this post
VIEW IN TELEGRAM
Evolved 2025
Evolved 2025 is a global hackathon initiative to accelerate AI breakthroughs in healthcare and life sciences, run by Nucleate, with Lux Capital, Nebius Inc, and NVIDIA.
👍13❤1🔥1
Forwarded from Техножрица 👩💻👩🏫👩🔧
Многие пользователи Телеграм встречались с явлением под названием "гачи-стикеры". Большинство думает, что на них изображены приключения геев-качков из фильмов для взрослых, и лишь немногие знают, что на самом деле эти стикеры иллюстрируют важные аспекты научной жизни...
❤75🔥15🤡9😁8🌚3👍2👎2🍌2
Ща бы называть дистилляцией lm файнтюн на данных лучшей модели...
🤡17😁6👍1🥴1
Forwarded from DeepSchool
🎙Онлайн-подкаст с Артемом, автором эйай ньюз
Завтра, 21 мая, в 12:00 МСК
Коротко об Артеме:
- Senior Research Scientist в Meta, подразделение GenAI
- PhD в области Computer Vision
- автор канала эйай ньюз с 34к подписчиками
На подкасте мы обсудим:
- историю авторства одного из самых крупных каналов про AI
- личный бренд ученого
- будни ресерчера в Meta
- и куда движется современный CV
- [а здесь может быть ваш вопрос Артему]
Приходите онлайн, чтобы задать свои вопросы Артему во время открытого микрофона. Запись будет! Выложим позднее в этом канале👍
Встречаемся здесь завтра, в воскресенье, в 12:00 МСК🔔
Завтра, 21 мая, в 12:00 МСК
Коротко об Артеме:
- Senior Research Scientist в Meta, подразделение GenAI
- PhD в области Computer Vision
- автор канала эйай ньюз с 34к подписчиками
На подкасте мы обсудим:
- историю авторства одного из самых крупных каналов про AI
- личный бренд ученого
- будни ресерчера в Meta
- и куда движется современный CV
- [а здесь может быть ваш вопрос Артему]
Приходите онлайн, чтобы задать свои вопросы Артему во время открытого микрофона. Запись будет! Выложим позднее в этом канале👍
Встречаемся здесь завтра, в воскресенье, в 12:00 МСК🔔
👍11🔥3🖕1
This media is not supported in your browser
VIEW IN TELEGRAM
😁40😢5👍4❤3🔥3🤡3🤔1💯1