برای اینکه مدل زبانی رو طوری تنظیم کنید که از داکیومنت شما جواب بده (fine-tune)، دو تا فریمورک معروف وجود داره
اولی LangChain و دومی LlamaIndex
دو تا تعریف مهم دیگه رو باید بدونیم تا بتونیم راحتتر یکی رو انتخاب کنیم
Retrieval-Augmented Generation
معماری ترکیب مدل با سیستم بازیابی اطلاعات، یعنی وقتی مدل میخواد جواب رو تولید کنه اول از این سیستم اطلاعات رو بررسی میکنه و بخشی رو به عنوان ورودی به متن دریافتی اضافه میکنه تا جواب نهایی ساخته بشه.
Vector Embeddings
هر کلمه یا جمله به صورت بردار با ابعاد معین نمایش داده میشه، هدف اینه که کلمات یا عبارات با معانی مشابه تو این فضای برداری نزدیک هم قرار بگیرند.
یعنی به مدل اجازه میده روابط پیچیدهی کلمات و عبارات رو بتونه درک کنه
اگه میخواید از فریمورکی استفاده کنید که ابزارهای زیادی رو به صورت همزمان در اختیارتون بذاره از LangChain استفاده کنید
برای Vector Embedding که میخواید به صورت عمیقتری روی داده ها تمرکز کنه LlamaIndex گزینه مناسب تریه.
@DevTwitter | <Sabber/>
اولی LangChain و دومی LlamaIndex
دو تا تعریف مهم دیگه رو باید بدونیم تا بتونیم راحتتر یکی رو انتخاب کنیم
Retrieval-Augmented Generation
معماری ترکیب مدل با سیستم بازیابی اطلاعات، یعنی وقتی مدل میخواد جواب رو تولید کنه اول از این سیستم اطلاعات رو بررسی میکنه و بخشی رو به عنوان ورودی به متن دریافتی اضافه میکنه تا جواب نهایی ساخته بشه.
Vector Embeddings
هر کلمه یا جمله به صورت بردار با ابعاد معین نمایش داده میشه، هدف اینه که کلمات یا عبارات با معانی مشابه تو این فضای برداری نزدیک هم قرار بگیرند.
یعنی به مدل اجازه میده روابط پیچیدهی کلمات و عبارات رو بتونه درک کنه
اگه میخواید از فریمورکی استفاده کنید که ابزارهای زیادی رو به صورت همزمان در اختیارتون بذاره از LangChain استفاده کنید
برای Vector Embedding که میخواید به صورت عمیقتری روی داده ها تمرکز کنه LlamaIndex گزینه مناسب تریه.
@DevTwitter | <Sabber/>
👍19🔥4👎2
من یه مدتی میومدم واسه انتخاب رمز، اسم یه سایت رو با یه رمز ساده خودم که تو ذهن میموند ترکیب میکردم، مثلا
name.comsoroush123
بعد اینو مثلا sha میکردم، تو سایت یا اپ میزدم اینجوری هم رمزم ساده بود از ذهنم نمیپرید، هم عملا رمز من قابل پیشبینی نبود
هم اینکه اگه یه دیتایس سایتی پخش میشد رمز من به تو سایتهای دیگه کاربردی نداشت
نمونه ابزاری که میشه باهاش sha کرد
https://emn178.github.io/online-tools/sha256.html
البته هرکسی خودش باید فرمول خاص خودشو بسازه، مهم اینه یه چیزی باشه همیشه و در همه حال تو ذهنتون بمونه
در نهایت هم خب بعدتر که پسوورد منیجرها اومدن دیگه این کارو نکردم، هرچند اگه از آدمایی باشید که به پسوورد منیجر اعتماد ندارید خب شاید این روش براتون مفید باشه.
توی گوگل سرچ کنید SHA256 Hash Generator
یا نمونه اوپنسورس افلاین برای ویندوز و مک
github.com/sunjw/fhash
@DevTwitter | <Soroush Ahmadi/>
name.comsoroush123
بعد اینو مثلا sha میکردم، تو سایت یا اپ میزدم اینجوری هم رمزم ساده بود از ذهنم نمیپرید، هم عملا رمز من قابل پیشبینی نبود
هم اینکه اگه یه دیتایس سایتی پخش میشد رمز من به تو سایتهای دیگه کاربردی نداشت
نمونه ابزاری که میشه باهاش sha کرد
https://emn178.github.io/online-tools/sha256.html
البته هرکسی خودش باید فرمول خاص خودشو بسازه، مهم اینه یه چیزی باشه همیشه و در همه حال تو ذهنتون بمونه
در نهایت هم خب بعدتر که پسوورد منیجرها اومدن دیگه این کارو نکردم، هرچند اگه از آدمایی باشید که به پسوورد منیجر اعتماد ندارید خب شاید این روش براتون مفید باشه.
توی گوگل سرچ کنید SHA256 Hash Generator
یا نمونه اوپنسورس افلاین برای ویندوز و مک
github.com/sunjw/fhash
@DevTwitter | <Soroush Ahmadi/>
👍44🔥6👎1
طرح بده AI کد تحویل بگیر مفتی
طرح مفتی از کجا بیارم ؟
بیشتر از 1600+ طرح رایگان User interface (UI)
فایل های قابل دانلود رایگان
فیگما،اسکچ،XD و ...
طرح ها بدید به Clapy، Builder.io ، Codia-AI یا Visual Copilot و ... کد تحویل بگیر
https://www.uidesigndaily.com/
@DevTwitter | <MehrdadLinux/>
طرح مفتی از کجا بیارم ؟
بیشتر از 1600+ طرح رایگان User interface (UI)
فایل های قابل دانلود رایگان
فیگما،اسکچ،XD و ...
طرح ها بدید به Clapy، Builder.io ، Codia-AI یا Visual Copilot و ... کد تحویل بگیر
https://www.uidesigndaily.com/
@DevTwitter | <MehrdadLinux/>
👎33👍16🔥6
بارها دیدم از ChatGPT و حتی Bard که از بلاگفا یا جاهای شبیه به اون به عنوان منبع استفاده میکنن
یکبار دیگه لازمه بگم وقتی پرامپت فارسی بهشون میدید ممکنه تلاش کنن جواب شمارو از منابع فارسی بدن، منابعی که خیلیهاشون میتونن یه دست نوشته باشن.
اگه آشنایی به زبان ندارید میتونید از گوگل ترنسلیت استفاده کنید و بعد پرامپت رو به زبان انگلیسی به چتباتها بدید، در نهایت اگر میخواید خروجی چیزی که براتون مینویسه فارسی باشه میتونید تهش یک say in persian یا هرچیزی که معنی مشابهشو بده اضافه کنید.
پرامپت فارسی = دقت پایین خروجی
انگلیسی = مقداری دقت بیشتر
@DevTwitter | <Soroush Ahmadi/>
یکبار دیگه لازمه بگم وقتی پرامپت فارسی بهشون میدید ممکنه تلاش کنن جواب شمارو از منابع فارسی بدن، منابعی که خیلیهاشون میتونن یه دست نوشته باشن.
اگه آشنایی به زبان ندارید میتونید از گوگل ترنسلیت استفاده کنید و بعد پرامپت رو به زبان انگلیسی به چتباتها بدید، در نهایت اگر میخواید خروجی چیزی که براتون مینویسه فارسی باشه میتونید تهش یک say in persian یا هرچیزی که معنی مشابهشو بده اضافه کنید.
پرامپت فارسی = دقت پایین خروجی
انگلیسی = مقداری دقت بیشتر
@DevTwitter | <Soroush Ahmadi/>
👍74❤1👎1
این ریپو، لیستی از llm های open source رو جمع کرده.
https://github.com/eugeneyan/open-llms
@DevTwitter | <shahryar saljoughi/>
https://github.com/eugeneyan/open-llms
@DevTwitter | <shahryar saljoughi/>
👍19
ریپو زیر، مجموعهای از سوالهای رایج پرسیده شده در مصاحبههای کاری و جوابشون به تفکیک هستش. مرور کردنش خالی از لطف نیست.
https://github.com/youssefHosni/Data-Science-Interview-Questions-Answers
@DevTwitter | <Reza Jafari/>
https://github.com/youssefHosni/Data-Science-Interview-Questions-Answers
@DevTwitter | <Reza Jafari/>
👍16
#کدبوک
این کتاب به موارد زیر میپردازد:
اصول و الگوهای برنامهنویسی جاوااسکریپت مانند توابع کوچک، جداسازی مسئولیتها و Single Responsibility Principle
نحوه استفاده از توابع و کلاسها در جاوااسکریپت به شیوهای استوار
تکنیکهایی برای مدیریت حافظه و عملکرد بهتر
الگوهای طراحی مناسب برای کد جاوااسکریپت مقیاسپذیر
راهکارهایی برای تست و دیباگ جاوااسکریپت
روشهای استقرار کد و مدیریت نسخه
* فایل PDF این کتاب رو میتونید از کانال DevBooks که لینکش توی بیو هست دانلود کنید.
@DevTwitter
این کتاب به موارد زیر میپردازد:
اصول و الگوهای برنامهنویسی جاوااسکریپت مانند توابع کوچک، جداسازی مسئولیتها و Single Responsibility Principle
نحوه استفاده از توابع و کلاسها در جاوااسکریپت به شیوهای استوار
تکنیکهایی برای مدیریت حافظه و عملکرد بهتر
الگوهای طراحی مناسب برای کد جاوااسکریپت مقیاسپذیر
راهکارهایی برای تست و دیباگ جاوااسکریپت
روشهای استقرار کد و مدیریت نسخه
* فایل PDF این کتاب رو میتونید از کانال DevBooks که لینکش توی بیو هست دانلود کنید.
@DevTwitter
👍9❤5
توی یکی از پروژه هام برای اینکه امنیت داده ها توی تنظیمات سایت بره بالا این پکیج رو برای لاراول نوشتم... کارش اینکه اون تنظیمات میشه توی دیتابیس بصورت کدگذاری شده ذخیره کرد و به صورت خودکار توی کانفیگ بارگزاری کرد.
https://github.com/mlk9/setting-laravel
همچنین میشه با کاستوم کردن از تکرار ذخیره دیتا جلوگیری کرد.
ر این پکیج کدگذاری به صورت سَلت انجام میشه و از کانفیگ قابل تغییره
@DevTwitter | <Mohammad Maleki/>
https://github.com/mlk9/setting-laravel
همچنین میشه با کاستوم کردن از تکرار ذخیره دیتا جلوگیری کرد.
ر این پکیج کدگذاری به صورت سَلت انجام میشه و از کانفیگ قابل تغییره
@DevTwitter | <Mohammad Maleki/>
👍13👎7
آسیبپذیری جدید SSH که Terrapin Attack نام دارد باعث شده ۱۱ میلیون سرور آسب پذیر وجود داشته باشد(CVSS 5.9).
با آپدیت libssh-4 به راحتی مشکل رفع میشود.
طبق آخرین اسکن بیش از 28هزار سرور ایرانی آسیبپذیر هستند. وای به روزی که Exploit این حمله منتشر شود!
https://terrapin-attack.com
@DevTwitter | <Vahid Nameni/>
با آپدیت libssh-4 به راحتی مشکل رفع میشود.
طبق آخرین اسکن بیش از 28هزار سرور ایرانی آسیبپذیر هستند. وای به روزی که Exploit این حمله منتشر شود!
https://terrapin-attack.com
@DevTwitter | <Vahid Nameni/>
👍13🔥4
معرفی DOMPurify: ابزاری قدرتمند برای پاکسازی HTML و جلوگیری از حملات XSS. سازگار با مرورگرهای مدرن و قابل استفاده در Node.js. پیکربندی آسان، پشتیبانی از HTML5, SVG و MathML.
https://github.com/cure53/DOMPurify
@DevTwitter | <امنیت سایبری با محمد/>
https://github.com/cure53/DOMPurify
@DevTwitter | <امنیت سایبری با محمد/>
❤14👎1🔥1
گر میخوایید یک پروژه لاراولی رو توی docker و docker compose بیارید بالا که سبک باشه توصیه میکنم حتما این رپوی من رو ببینید:
- نسبتا سبک!
- سریع برای توسعه
- رعایت سطح بندی شبکه
- مالکیت بهتر فایلها
- وجود ولیوم برای دیتابیس
و...
https://github.com/moaminsharifi/laravel-docker-compose-dev
@DevTwitter | <Amin Sharifi/>
- نسبتا سبک!
- سریع برای توسعه
- رعایت سطح بندی شبکه
- مالکیت بهتر فایلها
- وجود ولیوم برای دیتابیس
و...
https://github.com/moaminsharifi/laravel-docker-compose-dev
@DevTwitter | <Amin Sharifi/>
🔥18👍4👎1
بریم GPT-4 رو رایگان داشته باشیم:
کاری که ۵ تا developer این ریپو کردن اینه که اومدن با زبان GO از پلاگین Copilot که دسترسی به GPT-4 داره توکن گرفتن و روی سرویس های چت اپن سورس به شما اجازه چت با امکانات اونا رو دادند
۱- به نظرم رو حساب گیتهاب اصلی خودتون دسترسی ندید هرچند گفتن مشکلی نداره ولی شما ندید تا یه موقع بن نشید.
۲- برای ui من از ChatBox استفاده کردم ولی NextChat راحت تره
۳- مثال برای تست GPT-4 داده، طبق همون پیش برید تا مطمئن بشید که خودِ خودِ 4 واستون آنلاک شده
https://github.com/aaamoon/copilot-gpt4-service
@DevTwitter | <Sabber/>
کاری که ۵ تا developer این ریپو کردن اینه که اومدن با زبان GO از پلاگین Copilot که دسترسی به GPT-4 داره توکن گرفتن و روی سرویس های چت اپن سورس به شما اجازه چت با امکانات اونا رو دادند
۱- به نظرم رو حساب گیتهاب اصلی خودتون دسترسی ندید هرچند گفتن مشکلی نداره ولی شما ندید تا یه موقع بن نشید.
۲- برای ui من از ChatBox استفاده کردم ولی NextChat راحت تره
۳- مثال برای تست GPT-4 داده، طبق همون پیش برید تا مطمئن بشید که خودِ خودِ 4 واستون آنلاک شده
https://github.com/aaamoon/copilot-gpt4-service
@DevTwitter | <Sabber/>
🔥35❤1
👍54👎8❤5
امروز Phi-2 رو ران کردم و واقعا فوقالعادست، عجیبه این قدرت فقط 2.7B پارامتر داره
و بله، تو خیلی از آیتمها از Mistral بهتره، از Llama2-70B و Gemini هم تو کد نویسی قویتره فقط با 2.7B!
جواب پرامپتی که بهش دادم رو نگاه کنید
حرف دیگهای ندارم
State Of The Art Performance
@DevTwitter | <Sabber/>
و بله، تو خیلی از آیتمها از Mistral بهتره، از Llama2-70B و Gemini هم تو کد نویسی قویتره فقط با 2.7B!
جواب پرامپتی که بهش دادم رو نگاه کنید
حرف دیگهای ندارم
State Of The Art Performance
@DevTwitter | <Sabber/>
👍26🔥6❤4👎1
یک پروژه خوب باید ویکی خوبی داشته باشه . نوشتن ویکی وقت گیر و آسون نیست
اما نه با Auto Wiki
wiki.mutable.ai
لینک ریپو شما را میگیره و از اون براتون ویکی درست میکنه
نمونه های درست شده برام جالب بود
در سایت اصلی بخش قیمت بروید و رایگان را انتخاب کنید و بروید جلو
@DevTwitter | <MehrdadLinux/>
اما نه با Auto Wiki
wiki.mutable.ai
لینک ریپو شما را میگیره و از اون براتون ویکی درست میکنه
نمونه های درست شده برام جالب بود
در سایت اصلی بخش قیمت بروید و رایگان را انتخاب کنید و بروید جلو
@DevTwitter | <MehrdadLinux/>
👍29
امروز سر کار یاد گرفتم که برنامه نویسان جاوا اسکریپت در آمریکا بالای 110 هزار دلار درمیارن و برنامه نویسان پایتون 100000 دلار و php حدود 85000 دلار
و یاد گرفتم که اتفاقا محبوب ترین زبان برنامه نویسی جاوااسکریپت هست
و ربطش به جاوا اینه که صرفا تو روز اولشون یه شرکت درستشون کرده
@DevTwitter | < هشت ریشتری/>
و یاد گرفتم که اتفاقا محبوب ترین زبان برنامه نویسی جاوااسکریپت هست
و ربطش به جاوا اینه که صرفا تو روز اولشون یه شرکت درستشون کرده
@DevTwitter | < هشت ریشتری/>
👎81👍57❤3🔥2
درخت مرکل (Merkle Tree) یا درخت هش Hash Tree
ٰکاربرد:
Git, Blockchain , ...
توضیح:
نوعی ساختمان داده شامل یک درخت که خلاصهٔ اطلاعات یک دادهٔ بزرگتر نگه میدارد و برای تشخیص محتویات
ابزار:
با merkdir میتوانید از دایرکتوری سیستم خودتان Merkle tree بسازید
https://github.com/makew0rld/merkdir
@DevTwitter | <MehrdadLinux/>
ٰکاربرد:
Git, Blockchain , ...
توضیح:
نوعی ساختمان داده شامل یک درخت که خلاصهٔ اطلاعات یک دادهٔ بزرگتر نگه میدارد و برای تشخیص محتویات
ابزار:
با merkdir میتوانید از دایرکتوری سیستم خودتان Merkle tree بسازید
https://github.com/makew0rld/merkdir
@DevTwitter | <MehrdadLinux/>
👍16🔥3
دیگه لازم نیست چیزای تکراری رو همش ایمپورت کنم، unimport دمت گرم
https://github.com/unjs/unimport
@DevTwitter | <Saman Safaei/>
https://github.com/unjs/unimport
@DevTwitter | <Saman Safaei/>
🔥27👍7👎2❤1
ما خیلی راحت میتونیم مدلهای pre-trained شده رو با ابزاری مثل Mergekit با همدیگه ادغام کنیم!
واسه ساختش نیازی به GPU نداریم، مسیر واضح و راحتی داره و از اکثر الگوریتمهای ادغام پشتیبانی میکنه.
https://github.com/cg123/mergekit
@DevTwitter | <Sabber/>
واسه ساختش نیازی به GPU نداریم، مسیر واضح و راحتی داره و از اکثر الگوریتمهای ادغام پشتیبانی میکنه.
https://github.com/cg123/mergekit
@DevTwitter | <Sabber/>
❤19
وقتی که با مدلهای LLM یه اپلیکیشن مثلا chat to pdf درست میکنید به صورت لوکال، این فقط ۵۰٪ قضیه ست بخاطر اینکه نه نگران RAM هستید نه شبکه و نه ریسورس دیگه ای. ولی وقتی میخواید همین اپلیکیشن را دیپلوی کنید روی کلاود کلی نکات هست که باید در نظر بگیرید. این بلاگ خیلی واضح توضیح میده چطور اپلیکیشن را روی AWS دیپلوی کنید.
Blog: https://towardsdatascience.com/deploying-llm-apps-to-aws-the-open-source-self-service-way-c54b8667d829
Github: https://github.com/wenqiglantz/reusable-workflows-modules
@DevTwitter | <Mehdi Allahyari/>
Blog: https://towardsdatascience.com/deploying-llm-apps-to-aws-the-open-source-self-service-way-c54b8667d829
Github: https://github.com/wenqiglantz/reusable-workflows-modules
@DevTwitter | <Mehdi Allahyari/>
🔥12👍7