یکی از تجربه های جالب کاریم رو یادم رفته بهتون بگم، شرکت قبلی ما اجازه نمیداد از
Chat-GPT
استفاده کنیم!
شرکت های بزرگ که امنیت دیتا و privacy اطلاعاتشون براشون مهمه نمیان مستقیم از هوش مصنوعیِ
Chat-GPT
استفاده کنند و سوالشون رو بپرسند! بلکه مدلهای Pre-train شده ی LLM رو از شرکت openai میگیرند و میارن در زیرساخت های خودشون و ازشون استفاده میکنند.
البته ما این کارو نکرده بودیم ولی شرکت های خارجی زیادی دیدم این کار رو انجام میدن بخصوص شرکت های آلمانی که به شدت محافظه کار اند.

#تجربه_کاری

سلام 👋
یه ماژول پایتون نوشتم برای گرفتن دیتا های ترب چون کسی تو گیت هاب و جای دیگه ندیدم که نوشته باشه
لینک گیت هاب :
https://github.com/hamidrezafarzin/Torob-Integration
لینک pypi:
https://pypi.org/project/torob-integration/0.0.1/

پروژه بسیار جالب همکارم آقای مهندس حمیدرضا فرزین🥰.
قدرت یک برنامه نویس خلاق رو ببینید.

تعریف Tokenization در NLP:
به پروسه شکستن یه متن و تبدیل اون به واحدهای کوچیک تر مثل لغت، عبارت و یا جمله  tokenization میگن و یکی از مراحل آماده سازی دیتا در NLP هست که یه متن Unstructured رو به فرمت Structured تبدیل میکنه که به راحتی بتونه توسط الگوریتم های NLP آنالیز بشه.

تعریف Stemming (ریشه یابی): به پروسه ی کاهش یک کلمه و رسیدن به ریشه ی اون کلمه stemming میگن مثلا حذف پیشوند و پسوند از یک لغت.

تعریف Lemmatization (ریشه یابی لغوی): به پروسه ی کاهش یک کلمه و رسیدن به ریشه معنادار اون کلمه میگن.


فرق Stemming و Lemmatization: هر دو یک کلمه رو کاهش میدهند ولی در Stemming ممکنه کاهش کلمه منجر به رسیدن به ریشه معنادار از اون کلمه نشه! برای مثلا کلمه "Caring" اگه stem کنیم میشه "Car" که از لحاظ معنایی هیچ ربطی ندارند به هم! ولی در Lemmatization وقتی کلمه رو کاهش میدیم در نهایت میرسیم به ریشه ی معنادار. مثلا همون "Caring" اگه Lemma کنیم میشه "Care".

کتابخونه ای که ابزار Lemmatization داره مثل NLTK  برای زبان انگلیسی خودش توانایی تشخیص ریشه معنادار رو داره.

معمولا هم‌پروسه ی Stemming با سرعت بیشتری از Lemmatization انجام میشه.

اینا مطالبی بود که من سرچ کردم و متوجه شدم حالا خودتون هم سرچ کنید تا تفاوت بین این دو رو کامل متوجه بشید.

این سه تا پروسه Tokenization, Stemming و Lemmatization جزو مراحل مهم آماده سازی متن قبل از اعمال الگوریتم های NLP هستند که به راحتی با دو سه خط کد پایتون انجام میشه!

اگه براتون سواله که ابزارهایی مثل ماشین مجازی، گیت، داکر، دیتابیس‌ها و ... چطور ساخته شدن و چطور خودتون می‌تونید یکی از اون‌هارو بسازید این ریپازیتوری گیتهاب رو ببینید، خیلی باحاله:

https://github.com/codecrafters-io/build-your-own-x

امشب یه کتاب خیلی جالب میخوام بهتون معرفی کنم.

(خیلی دلم میخواد مدل جادی بیام کتاب های جدیدی که میخونم رو معرفی کنم و نقد و بررسیش کنم ولی مدتیه یکم inroverted شدم نمیدونم چرا🥺. )

کتاب "تاریخ علم در ایران"

اول بگم چرا میخوام امشب این کتاب رو معرفی کنم؟ چون تو این زمونه جای خالی یه چیزی رو احساس کردم.
ما به عنوان یک ایرانی هنوز جایگاه علمی خودمون رو در جهان نمیدونیم. تاریخ کشورمون داره فراموش میشه. این کتاب رو بخونیم و متوجه بشیم چقدر ایرانیان در گذشته، بنیان گذار علوم و فنون مختلف در جهان بودند! متاسفانه ما خودمون رو باختیم فراموش کردیم که چی بودیم و چی کار کردیم! تا وقتی ما جایگاه خودمون رو ندونیم مردم کشورهای دیگه هم جایگاه مارو نمیدونند و برامون ارزش قائل نمیشن.

در نظر خیلی از کشورهای دیگه الان یه کشور جهان سومی عقب مونده ایم! این همه آمریکا و کشورهای اروپایی پز تکنولوژی شون رو به ما میدن در صورتی که اگه تاریخ رو بخونیم میبینیم بسیاری از علوم بنیادی و مهارت های پایه ای جهان از دل تمدن ایرانی ها بیرون اومد. در طول تاریخ علم به تدریج پیشرفت کرد.

غیر ازین کتاب خودتون هم تحقیق کنید، ببینید افرادی مثل خوارزمی، ابوریحان بیرونی و... چی کار کردند.

در آینده هر جای دنیا رفتید کار کنید با افتخار از اصالت ایرانیتون بگید و برای همه تعریف کنید ما کی بودیم.

کتاب تاریخ علم در ایران نویسنده اش استاد دانشگاه شیراز بوده، دکتر مهدی فرشاد. نویسنده برای من معتبر و قابل اعتماده.


به کتاب هایی که میخونید توجه کنید! اینم بدونید هیچ وقت یک کتاب لزوما یک منبع علمی معتبر نیست!

کتاب فقط زاییده ذهن نویسنده اش هست، هرکی میتونه کتاب بنویسه و چاپش کنه ولی دلیل بر درست و علمی بودن محتواش نمیشه!
اینو حواستون باشه همیشه.

این خبر امروز منو ساخت! خیلی وقت بود از شنیدن یه خبر انقدر خوشحال نشده بودم🥳🤗.

چقدر خوب میشد اگه دانشگاه های ایران هم یه همچین ریسرچ هایی داشتند، ولی الان متاسفانه فقط شدند کارخونه تولید مقاله! مقاله های پوچ که هیچ فایده ای ندارند و کلی از بودجه مملکت رو هدر میدند!

AI Usage Disclosure:

I am Melanee and as an AI developer committed to ethical practices, I hereby disclose that all codes, repositories, and models developed by me are intended solely for positive and beneficial applications for humanity. I strictly prohibit the use of my work for any detrimental, harmful, or unethical purposes.

Melanee, 1 December 2023

من ملانی هستم و به عنوان یک توسعه دهنده هوش مصنوعی متعهد به اصول اخلاقی، بدینوسیله اعلام میکنم که تمام کدها، مخازن و مدل های توسعه یافته توسط من صرفاً برای کاربردهای مثبت و مفید برای بشریت در نظر گرفته شده است. من اکیدا استفاده از کارهای خود را برای اهداف منفی، مضر یا غیراخلاقی ممنوع می کنم.

ملانی ۱ دسامبر ۲۰۲۳ میلادی


https://github.com/Melanee-Melanee


#disclosure

وقتی یه کدی، مدلی چیزی مربوط به ai رو منتشر میکند یه متن Disclosure شبیه این تهش بزارید.


امیدوارم پیشرفت تکنولوژی در حوزه ی AI آینده ی مثبتی رو برام مردم دنیا رقم بزنه و بشدت معتقدم قانونگذاری تو این حوزه باید سریعا انجام بشه والا سو استفاده از علوم هوش مصنوعی ممکنه خطرهای زیادی برای بشریت به همراه بیاره.

چرا لینوکس برای متخصصین هوش مصنوعی یا دیتاساینتیست ها مهم هست؟

۱. دیپلوی مدل های ماشین لرنینگ اکثرا روی سرورهای لینوکسی انجام میشه.

۲. سیستم عامل لینوکس منابع سخت افزاری قوی تری برای پردازش موازی و یا train کردن مدلهای دیپ لرنینگ میتونه فراهم کنه مثلا تامین و تنظیم GPU, CPU.

همیشه دلم میخواست بدونم کی ها کتابخونه Hazm که مهمترین کتابخونه NLP فارسی هست رو نوشتند.

کاش میشد در یک مراسمی همشون رو دعوت کنند و ازشون تجلیل و قدردانی بشه.
واقعا کار بزرگی کردند.

#nlp
#natural_language_processing

#پردازش_زبان_طبیعی

https://github.com/roshan-research/hazm