دیتاست عمومی فارسی برای پردازش زبان طبیعی

به نظرم حجم دیتای عمومی در فارسی برای آموزش دادن مدل های زبان طبیعی فارسی کم هست. در این راستا ویکی پدیای فارسی و سایت خبری عصرایران و تسنیم نیوز رو خزش کردم و دیتاست رو بصورت عموم در سایت کگل منتشر کردم.

ویکی پدیای فارسی شامل حدود ۸۵۰ هزار مقاله به همراه موضوع و متن‌ و لینک دائمی مطلب هست که تقریبا ۵ گیگابایت است و تقریبا در ۴ روز خزش شده است.

عصر ایران شامل ۳۳۰ هزار خبر از سال ۱۳۸۴ به همراه موضوع خبر، خلاصه خبر، متن خبر، دسته بندی، زمان، سرویس خبری است که تقریبا ۱ گیگابایت است و در یکی دو روز خزش شد.

تسنیم نیوز هم مثل عصرایران هست و ۶۰ هزار خبر داخلش هست. در این دیتاست اخبار بصورت بالانس انتخاب شده اند یعنی در هر کلاس خبر تعداد یکسان خبر داریم.

امیدوارم مفید باشه.
لطفا به اشتراک بگذارید👈🏻 @persian_data
لینک سورس پروژه در گیت هاب
https://github.com/pourmand1376/PersianCrawler

لینک دیتاست ها در کگل
https://www.kaggle.com/amirpourmand/datasets

تا نکتهٔ تجربی در مورد تهیه رزومه و جلسه مصاحبه:

1-رزومه حتما در یک یا نهایت دو صفحه تهیه بشه (معمولا افراد زمان و حوصله لازم برای بررسی رزومه های طولانی ندارن)
سوال: توی 2 صفحه نمیشه کامل همه چیز گفت؟
راه حل: پروژه ها را داخل گیتهاب بزارین و اونجا readme کامل و دقیق تهیه کنین و داخل رزومه فقط ادرس گیتهاب بزارین اینجوری هم رزومه خلوت شده و هم طرف اگر خوشش بیاد میره و تک تک پروژه هاتون بررسی می کنه

2-بهتره رزومه به صورت فایل pdf باشه و اسم فایل روزمتون حتما اسم خودتون و سمت شغلی باشه (ترجیحا انگلیسی باشه چون اسم فایل فارسی گاها موقع دانلود به هم میریزه و لطفا فایل ورد هم نفرستین که افتضاح به بار میاد)

3-حتما قبل مصاحبه، یک سر به سایت و شبکه های اجتماعی اون شرکت بزنین. هم با حوزه کاری و محصولاتشون آشنا میشین و تا حدودی هم میشه از روی سایت و شبکه های اجتماعی فهمید یک شرکت، ارزش کار کردن داره یا نه. (مصاحبه شونده وقتی ببینه شما هیچی از شرکت نمی دونین و همینطوری رزومه فرستادین یکم دیدش بهتون منفی میشه)

4-بهتره روز مصاحبه با خودتون سر رسید ببرین، شما اگر در یک هفته 3 تا مصاحبه برین و نکات کلیدی یادداشت کنین به راحتی قابل مقایسه میشه. البته وقتی شما خودکار به دست باشین و مصاحبه کننده حس کنه به حرفاش توجه می کنین، سعی می کنه دقت بیشتری کنه و یه جورایی به نفع شماست(آدما وقتی دوربین توی اتاق باشه بیشتر حواسشون به کارهاشون هست یا وقتی بدونن قراره حرفاشون ثبت بشه دقت بیشتری به خرج میدن). همچنین دیگه لازم نیست کل زمان مصاحبه به چشماش زل بزنین

5-معمولا بهتره بیش از یک شماره تماس داشته باشین (ترجیحا یک شماره همراه و یک ثابت) ، چون از شانس بد شما زنگ بزنن و در دسترس نباشین، به اون یکی شماره سریع زنگ بزنن

6-یک رزومه ای نباشین، بنا به حوزه کار شرکت ها و بزرگی و کوچیکی اون، رزومه متفاوت داشته باشین، مثلا بعضی شرکت ها اگر رزومه انگلیسی بفرستین بهتره و حتی دید مثبت ایجاد می کنه و واسه حقوق دستتون بازتره ولی ی سری جاها رزومه فارسی بهتر جواب میده. کلا رزومه نوشتن و رزومه فرستادن یک هنره، بفهمی طرف دنبال چیه، همون ها خوشگل بزاری جلوش و بعضی چیزارو نگی چون حساسیت زاست

اگر شمام موقع تهیه مستندات پروژه با markdown با جملات فارسی و راست چین بودن، مشکل دارین، با یک راه حل ساده و فقط با یک خط کد، این مشکل حل کنین.

لطفا به اشتراک بگذارید👈🏻 @persian_data

https://github.com/sobhe/moratab

✳️ترجمه کتاب هنر کدنویسی خوانا✳️

این کتاب هدیه بدین به برنامه نویس‌هایی که یک روزه کد می‌نویسن ولی 7 روز طول میکشه بفهمیم چی نوشتن! سلام شلخته ها؟!😕😐😕

لطفا به اشتراک بگذارید👈🏻 @persian_data

پ.ن: جا داره از تیمی که به صورت داوطلبانه این کتاب ترجمه کردن، تشکر ویژه بکنیم!
سلام باحالا!؟🌹😍🌹

https://github.com/Hossein52Hz/The-Art-Of-Readable-Code-Persian

اینم کتاب فارسی واسه پایتون که رایگانه و کلا 25 فصله و از مباحث مقدماتی تا پیشرفته پوشش داده
مثال های زیادی داره و سعی کرده اروم اروم مباحث توضیح بده
اگر فرصت داشتین روزنامه وار یک نگاه بهش بندازین

https://python.coderz.ir

پ.ن: البته بهتره که متن زبان اصلی بخونین


لطفا به اشتراک بگذارید👈🏻 @persian_data

سایت و خبرنامه موقعیت‌های شغلی خارج از ایران

کارِج یک خبرنامه ایمیلی هفتگی است که موقعیت‌های شغلی خارج از ایران که امکان Visa Sponsorship دارند را برای مشترکین ایمیل می‌کند. آرشیو موقعیت‌های شغلی داخل صفحه گیتهاب موجود است.

لطفا به اشتراک بگذارید👈🏻 @persian_data

https://github.com/Hameds/Karej

ابزار داریم چ ابزاری
قطعا بارها آرزو کردین کاش pdf های فارسی میشد ادیت کرد
خب تبریک میگم آرزتون برآورده شد
https://github.com/Pouyaexe/Farsi_PDF

کافیه این کد پایتونی اجرا کنید و pdf هاتون قابل ادیت کنید
تا آرزوی بعدی، بای


لطفا به اشتراک بگذارید👈🏻 @persian_data

ایران کشور زلزله خیزی هست. دوس دارین به صورت آنلاین روی نقشه چک کنید الان کجای ایران با چه شدتی داره زلزله میاد؟
شاید براتون جالب باشه ک همین الان که دارین پست می خونین احتمالا یک جایی داره زلزله میاد (حتی با شدت کم)
کافیه یه سر به این صفحه بزنید و پخش مستقیم مسابقات لیگ برتر زلزله ایران از دست ندین
https://earthquake-monitoring.amir4rab.com/fa

لطفا به اشتراک بگذارید👈🏻 @persian_data

البته سورس کد کار، داخل گیتهاب به آدرس زیر هست
https://github.com/amir4rab/earthquake-monitoring

خب سلام به همگی✌🏻، مدتی هست که کانال هزارتایی شده ☺️
توی این مدت سعی کردیم کانال هدفمند باشه و مطالب مفید و کار راه انداز براتون پیدا کنیم و منتشر کنیم
البته گاهی دوستان لطف داشتن و کار یا ابزار خودشون معرفی کردن 💐(که ای کاش بیشتر میشد و بیشتر در تولید کارها عام المنفعه و به اشتراک گذاری اون تلاش می کردیم)
چند تا نکته
ما در برابر تبلیغات خیلی مقاومت کردیم و به تبلیغات های با پیشنهاد بالا هم نه گفتیم😌 (حتی تا شده تبلیغ کارهای خودمون هم نکردیم😐)
شاید بعضیا بگن با کانال های دیگه ادغام کن تا تعداد بیشتر بشه، ولی ما کیفیت برامون مهم تره😎
هدف ما کار تخصصی و عملیه، که گره از کارتون باز کنه
همین که پیام های ما گاهی بین گروه های دانشگاهی و تحصیلات تکمیلی و یا شرکت ها به چشم می خوره یعنی مسیر را درست رفتیم💪🏻

پ.ن: چرا بعضیا دیسلایک می کنن😂؟ دلیل اون کسی که دیسلایک می کنه چیه😄؟
❇️مطلب رایگان منتشر میشه
❇️سعی میشه هدفمند و مفید باشن
❇️پیام تبلیغاتی و اضافه هم که نمی زاریم
خب الان مشکلت چیه؟ حتما دلیلش بهمون بگو😺 @data_hub_ir

و اما در مورد ادامه فعالیت کانال
هنوز تصمیم قطعی گرفته نشده
اینکه در اینده تبلیغات هم بزاریم؟ شاید❓
اینکه جهت گیری پست ها عوض بشه و زرد تره بشه؟ شاید❓
اینکه به جای مطالب کاربردی بیایم چیت شیت و pdf منتشر کنیم که خیلی گره گشا نیست؟ شاید❓

حالا در آینده نتیجه تصمیمات مشخص خواهد شد✅

اخر صحبت هم چندتا تجربه بگم که کلیه و فقط مربوط به تلگرام نیست:
⏺تا بشه مطلب رایگان منتشر نکنید (حتی شده به قیمت صد تا تک تومن)؛ این صرفا تجربه ماست؛ شاید برای بعضی خلاف اون ثابت شده باشه. مخاطب تا هزینه پرداخت نکنه خیلی دلسوز نخواهد بود و تعهدی به یادگیری نخواهد داشت
⏺فکر نکنید مطلب خفن بزارین، لایک می کنن، share می کنن؛ مخاطب معمولا بی تفاوته، مطلب خوشش میاد؛ استفاده می کنه ولی دلیلی نمی بینه لایک کنه، یا کامنت بزاره یا تشکر کنه (این یک قانون کلیه در هر حوزه تخصصی و آموزشی)
⏺طبق مطلب دوم، سطح انتظارتون از مخاطب کم کنید، یعنی اگر منبع الهامتون حمایت مخاطب باشه، کارتون سریع متوقف میشه
⏺کاری کنید که مخاطب حس کنه، هستین و زنده این، اگر گاهی باشین و گاهی نباشین، مخاطب دلزده میشه
و ...

"من یه دیتاست ساختم برای دگربیان و خواستم اینو تو کانال‌تون به اشتراک بزارید شاید به دردکسی خورد."

مقاله برای تسک paraphrase یا بازنویسی متن هست مثل
"من نمره قبولی گرفتم"
"من پاس شدم"
هر دو جمله بالا یک معنی دارن ولی با ادبیات و کلمات متفاوت

مقاله کار تایید شده و به زودی منتشر میشه.
نقطه قوت کار، محاوره بودن دیتاست هست

لطفا به اشتراک بگذارید👈🏻 @persian_data

لینک گیت هابم اینه :
Https://github.com/mut-deep/Degarbayan-SC

#پست_کاربردی: تصور کنین ساعت هاست کدتون توی گوگل کولب ران میشه ولی یک مدتی که باهاش کار نمی کنین، ارتباط با کولب به صورت خودکار قطع میشه و باید از اول کدها اجرا گرفت (session بسته میشه)
آیا راهی هست که ارتباط قطع نشه و به اصلاح بشه کدها rerun گرفت؟
بله کافیه از این افزونه کروم استفاده کنین

لطفا به اشتراک بگذارید👈🏻 @persian_data

https://chrome.google.com/webstore/detail/colab-alive/eookkckfbbgnhdgcbfbicoahejkdoele?hl=en

توصیه دوستانه: هرجای علم داده ک دست بزارین ردی از p-value هستش، پس یک بار برای همیشه یادش بگیرین.
کافیه 20 دقیقه وقت بزارین و آموزش دکتر علی شریفی زارچی (با لهجه شیرین یزدیشون) گوش بدین
لینک ویدیو

ممنون میشیم اگه برای کسایی که به نظرتون به کارشون میاد هم بفرستین.✅

✳️ @data_hub_ir

🟢 پروژه هوش مصنوعی داری ولی خودت نمی‌تونی | نمی‌رسی انجام بدی؟

🟢 واسه انتخاب موضوع پایان نامه یا پروپوزال، نیاز به مشاوره و همفکری داری؟

🟢 میخوای مقاله بنویسی ولی ایده جدید به ذهنت نمی رسه؟

🟢 موعد دفاعت رسیده ولی کارت گره خورده و نتیجه دلخواه نمیده؟

🟣 به راحتی میتونین هر پروژه‌ای که دارین ثبت کنین تا با کیفیت مناسب براتون انجام بشه!

🥳 تخفیف ۲۰ درصدی اولین ثبت سفارش رو از دست ندین.
👈کد تخفیف: first_proj

✳️ اگر اطلاعات بیشتری نیاز دارید حتما به 🆔 تلگرام زیر مراجعه کنین و مشاوره رایگان بگیرین👌🏼
➡️ @data_hub

روش های ثبت سفارش ⬇️

1⃣ پیام به ID تلگرام @data_hub
2⃣ ثبت سفارش از طریق سایت دیتاهاب

چرا همیشه توی جلسه مصاحبه از ما سوال کنن؟
چرا ما ازشون سوال نپرسیم؟

پس قراره برعکس عمل کنیم و بحث دو طرفه بشه، چون هم خواسته های اونها مهمه و خواسته های ما
یکسری سوال متنوع هست که میشه حین مصاحبه پرسید تا دقیق تر متوجه بشیم اصلا شرکت مدنظرمون ارزش داره یا نه؟

لطفا به اشتراک بگذارید👈🏻 @persian_data

https://github.com/Kaaveh/reverse-interview/blob/master/translations/PERSIAN.md

درود رفقا
این کانال نور چشمی من هستش
ولی بعضی چیزها فرای هر ارزشی هستن

به یاد مهسا امینی از الان تا وقتی کانال دایر باشه
پروفایل کانال به نشانه عزاداری مشکی خواهد شد
شرمنده هستم زودتر اقدام نشد

بیش از ۱۲۰۰ توییت «برای» رو در فایل زیر جمع کردم و دست هر هنرمندی رو که بتونه ازش روایت و اثر هنری تاثیرگذاری خلق بکنه رو می‌‌بوسم. از دیتاساینتیست‌های عزیز هم دعوت می‌کنم روش کار بکنند و خروجی‌هاشون رو به اشتراک بذارن.


https://docs.google.com/spreadsheets/d/1KsHpVJtxI6Pt_JyA3N4T0ny_vDzsW-37XzsL8Usu1a8/edit?usp=sharing

منبع:
https://www.linkedin.com/in/mahdinasseri

با توجه به شرایط اینترنت و کار، تصمیم گرفتیم رزومه کارجوها و فرصت های شغلی رو توی تلگرام و لینکدین منتشر کنیم.

✅ اگه دنبال کار هستی (چه توی شرکتها و چه فریلنسری):
🔹 کاری که بلدی / تخصصی که داری
🔹 شهر
🔹 دورکاری / حضوری / فریلنسری
🔹 فایل pdf رزومه
رو توی یک پیام برای @data_hub ارسال کنین.

یادتون باشه:
شماره تماس و ایمیلتون رو توی رزومه بنویسین.
پیام های تلگرام فوروارد میشن، بهتره اکانت تون باز باشه تا بشه مستقیم پیام داد.

✅ اگه کارفرما هستین و میتونین به کارجوها کمک کنین:
🔸 نام شرکت
🔸 راههای ارتباطی و ارسال رزومه
🔸 عنوان شغلی مورد نیاز
برای @data_hub ارسال کنین.

🔹 مهندس یادگیری ماشین
🔹 بروجرد
🔹 دورکاری یا حضوری