SoundStorm: Efficient Parallel Audio Generation

SoundStorm generates 30 seconds of audio in 0.5 seconds on a TPU-v4.
Demonstrate the ability of model to scale audio generation to longer sequences by synthesizing high-quality, natural dialogue segments, given a trannoscript annotated with speaker turns and a short prompt with the speakers' voices

https://huggingface.co/papers/2305.09636

project page:
https://google-research.github.io/seanet/soundstorm/examples/

Scikit-LLM is a scikit-learn compatible wrapper around OpenAI API, which allows to build ChatGPT-based text classification models

GitHub: https://github.com/iryna-kondr/scikit-llm
Blog Post: https://medium.com/@iryna230520/scikit-llm-nlp-with-chatgpt-in-scikit-learn-733b92ab74b1

Drag Your GAN: Interactive Point-based Manipulation on the Generative Image Manifold
https://huggingface.co/papers/2305.10973

#gan

سمینار مقدمه‌ای بر ترنسفورمر‌ها
دانشگاه استنفورد

https://www.youtube.com/watch?v=XfpMkf4rD6E

دوستان بزرگواری که در دوره ی شبکه های عصب گرافی ثبت نام کرده اند اما هنوز در گروه تلگرامی مروبط به دوره عضو نشده اند لطفا حتما به پشتیبانی دوره پیام بدهند:
@classvision_support

پیش‌بینی ترافیک با روشهای پیشرفته شبکه عصبی گرافی در گوگل

#بلاگ_پست #gnn

خبر جعلی انفجار، بازار سهام آمریکا را تکان داد!

اومدن یه فیلم با استفاده از مدل‌های هوش مصنوعی تولید کردند که یه انفجار بزرگ رو در نزدیکی پنتاگون نمایش میده، معامله‌گرها هم ترسیدن و شروع کردن به فروختن سهام‌شون و بورس آمریکا به اصطلاح ریخته!

بعد که خبر بیشتر تو فضای مجازی پیچیده، پنتاگون اعلام کرده ویدئو جعلیه و در نزدیکی وزارت دفاع آمریکا هیچ انفجاری رخ نداده!

دوباره معامله‌گرها هم پوزیشن باز کردن؛ خلاصه یه ویدئوی جعلی با استفاده از مدل‌های هوش مصنوعی، تونسته تمام بازارشون رو به هم بریزه!

به نظر کسی که این اتفاق رو رقم زده آدم خلاقی بوده، قیمت رو آورده پایین و خرید زده! البته قدرت رسانه‌ای خوبی هم داشته که تونسته اتفاق به این بزرگی رو رقم بزنه!

🙏Thanks to: @Ai_Events

MMS: Massively Multilingual Speech.
- Can do speech2text and text speech in 1100 languages.
- Can recognize 4000 spoken languages.
- Code and models available under the CC-BY-NC 4.0 license.
- half the word error rate of Whisper.

Code+Models:
https://github.com/facebookresearch/fairseq/tree/main/examples/mms

Paper | Blog

منبع

Papers that extend your horizon and sharpen your cognitive abilities.

1- Stable Diffusion is a deep learning, text-to-image model mainly designed to fabricate intricate images based on text inputs, with potential usage in other tasks like text-guided image-to-image conversions.
https://github.com/CompVis/stable-diffusion

2- Composed of standard ConvNet modules, ConvNeXts competes favorably with Transformers in accuracy and scalability, achieving ImageNet top-1 accuracy and surpassing Transformers, while retaining the simplicity and efficiency of standard ConvNets.
https://github.com/facebookresearch/ConvNeXt

3- In NLP, DNNs frequently fall prey to backdoors during the fine-tuning process of large-scale Pre-trained Language Model (PLM) with corrupted samples. The solution lies in leveraging the pre-trained (unfine-tuned) weights to neutralize backdoors in fine-tuned language models.
https://arxiv.org/pdf/2210.09545v1.pdf

4- Make-A-Video introduces an avant-garde text-to-video model capable of creating videos derived from a text prompt.
https://arxiv.org/abs/2209.14792

5- PaddleOCR's mission is to build multilingual, superior, leading, and practical OCR tools that empower users to train better models and put them into application.
https://github.com/PaddlePaddle/PaddleOCR

6- Gato, a versatile agent, operates as a multi-modal, multi-task, multi-embodiment generalist policy; its capabilities span from playing Atari to conversing and stacking blocks with a real robot arm.
https://arxiv.org/abs/2205.06175v3

7- Meta AI Unveils an expansive translation model (NLLB-200), proficient in translating between 200 languages.
https://arxiv.org/abs/2207.04672v3

فتوشاپ + فایرفلای
استفاده از هوش مصنوعی در فتوشاپ

🙏Thanks to: @ai_person

یه قدم بزرگ برای جامعه اوپن سورس در زمینه مدل‌های زبانی بزرگ!

شاید تا چند ماه اخیر خیلی از این مدل‌های زبانی بزرگ یا همون LLM ها رو نمیشد روی GPU های معمولی حتی اینفرس یا خروجی گرفت چه برسه به fine-tune ولی الان با کوانتایزد کردن مدل و تکنیک‌های PEFT(Parameter-Efficient Fine-Tuning) میشه روی GPU های معمولی برای هر تسک خاص fine-tune کرد این مدل‌ها رو.

یکی از این تکنیک‌ها
LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
هست و جدیدا یه ورژن از اون اومده که روی مدل‌های کوانتایزد شده کار میکنه.
اسم این متد QLoRA: Efficient Finetuning of Quantized LLMs هست که با استفاده از Low Rank Adapterها و NF4 quantization میتونه بدون افت پرفورمنس مدل رو fine-tune کنه.
میتونید مقاله و کدش رو از لینک‌های زیر ببینید

مقاله:
https://arxiv.org/abs/2305.14314
کد:
https://github.com/artidoro/qlora
بلاگ پست:
https://huggingface.co/blog/4bit-transformers-bitsandbytesw

متا ادعا کرده که با fine-tune کردن مدل LLaMA (ورژن ۶۵ میلیارد پارامتری) با فقط ۱۰۰۰ نمونه instruction و response تونسته به پرفورمنس GPT4 و Bard برسه.
به گفته خودشون بیشتر (تقریبا همه) دانش مدل در حین pre-training به دست میاد و اون مرحله fine-tuning بیشتر برای alignment هست که کیفیت خروجی رو بهبود بده.
میتونید برای جزییات بیشتر مقاله‌شون رو بخونید:

LIMA: Less Is More for Alignment

https://arxiv.org/abs/2305.11206

این کورس در ابتدای هفته منتشر خواهد شد:
https://class.vision/product/prompt-chatgpt-api-openai-developer/

برخی دوستان پیرامون قیمت فیدبک داشتند، چون قیمت دوره توسط مکتب خونه تعیین نشده و فعلا محصول را فقط برای سرفصلها تو سایت درج کردم، قیمت رندم درج شده است.
الان این پست برای درک سرفصل و محتواست،
در مورد قیمت ان شاء الله کمتر خواهد بود و بعد انتشار به روز خواهد شد.

جیمز گالاگر, بی‌بی‌سی:

دانشمندان با استفاده از هوش مصنوعی (AI) آنتی بیوتیکی جدید کشف کرده‌اند که می‌تواند گونه کشنده ابرمیکروب را از بین ببرد.

هوش مصنوعی با کاهش هزاران ماده شیمیایی بالقوه به تعدادی انگشت شمار امکان آزمایش آن‌ها را در آزمایشگاه فراهم کرد.

نتیجه این آزمایش، تولید یک آنتی بیوتیک آزمایشی و قوی به نام «آبوسین» بود که قبل از استفاده همگانی از آن به آزمایشات بیشتری نیاز دارد.

محققان در کانادا و آمریکا می‌گویند که هوش مصنوعی این قدرت را دارد که به کشف داروهای جدید به طور گسترده‌ای سرعت ببخشد.

این تازه ترین نمونه از آزمایشاتی است که نشان می‎‌دهد چگونه هوش مصنوعی می تواند انقلابی درعلم پزشکی ایجاد کند.

ادامه مطلب:
https://www.bbc.com/persian/articles/cz764jxx72jo

به لطف شبکه های عصبی گرافی، این اولین بار نیست که دانشمندان با بررسی دارو ها با گراف آنتی بیوتیک جدید کشف میکنند

Graph ML News (May 27th): New Antibiotic found with Geometric DL, Differential Privacy, NeurIPS Submissions

مرتبط با پست: https://news.1rj.ru/str/cvision/3097 (کشف آنتی بیوتیک با هوش مصنوعی - شبکه های عصبی گرافی)

A new antibiotic abaucin is discovered by the power of Geometric Deep Learning! Abaucin targets a stubborn Acinetobacter baumannii pathogen resistant to many drugs. The new Nature Chem Bio paper (feat. Regina Barzilay and Tommi Jaakkola from MIT) sheds more light on the screening process and used methods.

Stanford launches the online version of the flagship CS224W course of Graph ML. The 10-credit course is priced at $1,750 and starts on June 5th.

The TAG in ML workshop on topology announced a new challenge: implementing more topology-enabled neural nets with the TopoModelX framework where top contributors will become co-authors of a JMLR submission. That’s a great option for those who’d like to start working with topological neural architectures!

Vincent Cohen-Addad and Alessandro Epasto of Google Research published a post on differentiably-private clustering: introducing an approach for DP hierarchical clustering with formal guarantees and lower bounds, and an approach for large-scale DP clustering.

The Weekend Reading section this week is brought to you by NeurIPS submissions, quite a number of cool papers:

Link Prediction for Flow-Driven Spatial Networks - the work introduces the Graph Attentive Vectors (GAV) framework for link prediction (based on the labeling trick commonly used in LP) and smashes the OGB-Vessel leaderboard with a 10-points rocauc margin to the previous SOTA.

Edge Directionality Improves Learning on Heterophilic Graphs feat. Emanuele Rossi, Francesco Di Giovanni, Fabrizio Frasca, Michael Bronstein, and Stephan Günnemann

PRODIGY: Enabling In-context Learning Over Graphs feat. Qian Huang, Hongyu Ren, Percy Liang, and Jure Leskovec - a cool attempt to bring prompting to the permutation-invariant nature of graphs.

Uncertainty Quantification over Graph with Conformalized Graph Neural Networks feat. Kexin Huang and Jure Leskovec — one of the first works on Conformal Prediction with GNNs.

Learning Large Graph Property Prediction via Graph Segment Training feat. Jure Leskovec and Bryan Perozzi

ChatDrug - a neat attempt at combining ChatGPT with retrieval plugins and molecular models to edit molecules, peptides, and proteins right with natural language. Extension of MoleculeSTM that we featured in the recent State of Affairs post.

MISATO - Machine learning dataset for structure-based drug discovery - a new dataset of 20K protein-ligand complexes with molecular dynamics traces and electronic properties.

Multi-State RNA Design with Geometric Multi-Graph Neural Networks feat. Chaitanya Joshi and Pietro Lio

منبع: https://news.1rj.ru/str/graphML/773

Yann LeCun :

My Distinguished Lecture at the Institute for Experiential AI at Northeastern University on May 24.

"From Machine Learning to Autonomous Intelligence"
How could machines learn as efficiently as humans and animals?
How could machines learn to reason and plan?

Video: youtu.be/mViTAXCg1xQ

Slides: https://lnkd.in/ebkqZH_J

EAI seminar page: https://lnkd.in/e3ZR8KTy

A guide to MLOps
منبع:
https://ubuntu.com/engage/mlops-guide

Fine-Tune LLMs with QLoRA (Free Colab Tutorial)

https://www.youtube.com/watch?v=NRVaRXDoI3g