#مینی_کورس رایگان و #مقدماتی
مناسب برای کسانی که تا حالا با میدجرنی کار نکردند

LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models
21 Sep 2023 ·

paper : https://arxiv.org/pdf/2309.12307v1.pdf
code : https://github.com/dvlab-research/longlora
We present LongLoRA, an efficient fine-tuning approach that extends the context sizes of pre-trained large language models (LLMs), with limited computation cost. Typically, training LLMs with long context sizes is computationally expensive, requiring extensive training hours and GPU resources. For example, training on the context length of 8192 needs 16x computational costs in self-attention layers as that of 2048. In this paper, we speed up the context extension of LLMs in two aspects. On the one hand, although dense global attention is needed during inference, fine-tuning the model can be effectively and efficiently done by sparse local attention. The proposed shift short attention effectively enables context extension, leading to non-trivial computation saving with similar performance to fine-tuning with vanilla attention. Particularly, it can be implemented with only two lines of code in training, while being optional in inference. On the other hand, we revisit the parameter-efficient fine-tuning regime for context expansion. Notably, we find that LoRA for context extension works well under the premise of trainable embedding and normalization. LongLoRA demonstrates strong empirical results on various tasks on LLaMA2 models from 7B/13B to 70B. LongLoRA adopts LLaMA2 7B from 4k context to 100k, or LLaMA2 70B to 32k on a single 8x A100 machine. LongLoRA extends models' context while retaining their original architectures, and is compatible with most existing techniques, like FlashAttention-2. In addition, to make LongLoRA practical, we collect a dataset, LongQA, for supervised fine-tuning. It contains more than 3k long context question-answer pairs.

بلاگ پست جدید فرانسوا شوله در مورد LLM و prompt engineering که امروز منتشر شد:

https://fchollet.substack.com/p/how-i-think-about-llm-prompt-engineering?utm_source=profile&utm_medium=reader2

Sound Visualization


https://maelfabien.github.io/machinelearning/Speech10/#

🔹 ۲۰ مهر ۱۴۰۲ | معاون اجتماعی سازمان وظیفه عمومی فراجا:
لغو سهمیه امریه شرکت‌های دانش‌بنیان برای مشمولان دارای مدرک کارشناسی، صحت ندارد؛
مشمولان فارغ‌التحصیل کارشناسی و بالاتر، می‌توانند از امریه شرکت‌های دانش‌بنیان استفاده کنند.

isna.ir/news/1402072013902

جف هینتون، پدرخوانده هوش مصنوعی بازنشست شد…

دستیار کدزنی خودتون رو آموزش بدید:

https://huggingface.co/blog/personal-copilot

یه خبر عالی!
دانشکده کامپیوتر دانشگاه شریف این ترم درس LLM با تدریس اساتید دکتر رهبان، دکتر سلیمانی و دکتر عسگری گذاشته!

لینک سرفصل‌ها

لینک ویدیوها

اگر چه مطالبی که عنوان میشه رو میتونید تو دوره‌های کوتاه کورسرا پیدا کنید، اما دیدن این درس نگاه جامعی بهتون می‌ده و قطعا خالی از لطف نیست.
@Ai_Events

⭕️دانشکده ریاضی و علوم کامپیوتر با همکاری انجمن علمی علوم کامپیوتر برگزار میکند:

🟢سمینار یادگیری ماشین قابل اعتماد: بررسی اطمینان در هوش مصنوعی

🗣سخنران: محمد سبک‌رو

- پژوهشگر در Okinawa institute of Science and Technology
- پژوهشگر در پژوهشگاه دانش‌های بنیادین IPM

🕐زمان برگزاری: دوشنبه ۸ آبان، ساعت ۱۴
آمفی تئاتر دانشکده ریاضی و علوم کامپیوتر

جناب دکتر توتون‌چیان، استاد دانشگاه Drexel برای جمعه‌ی این هفته (بعد از ظهر) یک جلسه‌ی آنلاین برای به‌اشتراک‌گذاری تجربه‌‌ها در زمینه‌ی کاربردهای جدید LLM ها در محیط واقعی برگزار می‌کنند.

اگر متخصص علوم داده یا یادگیری ماشین هستید و تجربه‌ای در این زمینه دارید و یا می‌خواهید از تجربه‌ی سایر متخصصین در این زمینه استفاده کنید، در این جلسه شرکت کنید.

زمان دقیق و لینک زوم متعاقبا در همین کانال و همچنین در گروه دکتر توتون‌چیان (لینک زیر) اعلام خواهد شد.

https://news.1rj.ru/str/+8mhPMpJw97QwOWUx