شیوه‌نامه نگارش پایتون
تا حالا شده یک کد پایتونی از همکارتون بگیرین و روی مختون بره و حالتون بد بشه از بس نامرتب نوشته
حتما این داکیومنت بهش معرفی کنین، رایگان و ترجمه شده هستش
تا با خوندنش، کیفیت کدهای نوشته خودمون با زبان پایتون، چندبرابر کنیم.

https://pep8.ir

لطفا به اشتراک بگذارید👈🏻 @persian_data

اگه به تازگی میخواین وب اسکرپینگ یاد بگیرین این آموزش از دست ندین. خیلی ساده و با مثال هستش و دید خوبی ارائه میده.
https://github.com/yaramohamadi/Python_Persian_Crawler

لطفا به اشتراک بگذارید👈🏻 @persian_data

تصحيح خودكار كلمه
به كمك يك الگوريتم چند مرحله اي ابتدا به توليد كلمه هاي مربوط به كلمه ورودي ميپردازيم و پس از آن كلمه هايي كه در ديتاست شكسپير وجود ندارند را حذف ميكنیم. سپس به كمك احتمال ظاهر شدن كلمه در ديتاست شكسپير و كلمه اي كه با كمترین تغییر (minimum edit distance) به كلمه ما تبديل ميشود بهترين كلمه را خروجي ميدهيم.
بياين كه به كمك هم اين الگوريتم رو توسعه بديم.

لطفا به اشتراک بگذارید👈🏻 @persian_data

https://github.com/mokar2001/AutoCorrectWord

#Python
#Data_Analysis

یکی از سوالات رایج همیشگی اینه که دیتاست نداریم و کارمون لنگه چطور از توییتر دیتا کرال کنیم. خب بعد از درخواست و دریافت اکانت دولوپری از توییتر، بیاین سراغ این کد پایتونی، فقط 30 خط هستش و به راحتی یک دیتاست خوب بهتون میده.
chatbotslife.com/crawl-twitter-data-using-30-lines-of-python-code-e3fece99450e

لطفا به اشتراک بگذارید👈🏻 @persian_data

اینم منبع فارسی😌
تقریبا هر روز منبع فارسی درخواست میشه و این کتاب یهو به چشمم خورد☺️
دانلود رایگان کتاب یادگیری عمیق: اصول، مفاهیم و رویکردها به زبان فارسی

https://github.com/miladvazan/deep_learning_book_persian

لطفا به اشتراک بگذارید👈🏻 @persian_data

دانلود کتاب یادگیری ماشین و علم داده: مبانی، مفاهیم، الگوریتم‌ها و ابزارها به صورت رایگان

جا داره از نویسنده کتاب بابت معرفی کارشون تشکر کنیم.


لطفا به اشتراک بگذارید👈🏻 @persian_data

درود🤚
خیلی خوشحالم که بالاخره زمانش از راه رسید😊
قبل از هر چیز بفرمایین شیرینی اونم از نوع گز اصفهان🍰🧁


نزدیک دو ساله در کنار هم هستیم 😍 از آپارات تا ویرگول و تلگرام. توی این مسیر شناختمون از هم بیشتر شد به‌تدریج متوجه شدیم شما به چه چیزهایی بیشتر احتیاج دارین🤔. خودتون بهمون می گفتین فرصت شغلی نیست😡. چرا کارآموزی‌ها کم هستن😤. چرا آموزش‌ها این‌قدر گرونن 😭 و ... . وقتی با خواسته هاتون بیشتر آشنا شدیم به نظرمون رسید شاید بشه یک حرکتی زد و یک کمکی کرد😎.

ولی چون آدم‌های کمال‌گرایی بودیم نزدیک به 6 ماه طول کشید 😬 تا براتون وب سایت "دیتاهاب" آماده کنیم البته با کلی ایده و فکر جدید. قطعا جای بهترشدن داره که ما روی انتقادات و پیشنهادهای شما حسابی زیادی باز کردیم😌.

می دونیم و می دونین وب سایت زیاد هست چه به زبان انگلیسی چه فارسی. تلامشون این بوده و هست که متفاوت عمل کنیم. اینم بگم که محوریت دیتاهاب قطعا هوش مصنوعی خواهد بود. هدف اولیمون تولید محتوای مناسب تصویری و متنی فارسی از مقدماتی تا پیشرفته با رویکرد پروژه‌ای هست🧑‍💻👩‍💻. یعنی دلمون نمیخواد بعد از تماشای ویدیوها بگین کاش عملی‌تر بود😖.

باید اشاره کنم که یک بخش زیادی از آموزش‌ها رایگان خواهد بود (آموزش‌هایی که جاهای دیگه در حد چند میلیون می فروشن💸)

پس فعلا به کانال یوتیوبمون یک سر بزنین تا یک سوپرایز باحال در پست بعدی بهتون بگیم🤦🤦‍♀.

🎥Link: youtube.com/channel/UCrBcbQWcD0ortWqHAlP94ug

بی نهایت سپاسگزاریم از همراهی، حمایت و اعتماد شما تا الان و امیدواریم این حمایت کمتر نشه و روزبه‌روز بیشتر بشه❤️

✳️ @data_hub_ir

سرویس جدید Amazon SageMaker محصول شرکت آمازون هست که روزی 4 ساعت اجازه کار با GPU میده. البته نیاز به ثبت نام اولیه داره که چیز خاصی هم نیست. امکاناتش هم از کولب بیشتره و به جز داخل نوتبوک مدل های دیگم میشه کد نوشت و اجرا کرد.
studiolab.sagemaker.aws

لطفا به اشتراک بگذارید👈🏻 @persian_data

توی روز عشق، علاقمون بیشتر از قبل بهتون نشون میدیم (خرس نمیخام هدیه بدم)
یه دیتاست باحال داریم ولی نه برای سانسور
لطفا این دیتا علیه خودمون استفاده نکنین
این فقط واسه کارهای پژوهشیه

همچنین سایتمون فراموش نکنین
Data-hub.ir

@persian_data

قبلا بارها از ژوپیتر نوتبوک صجت کردیم و نشون دادیم هم قدرتمند هست و هم آینده دار. در ادامه اگر میخواین فایل نوتبوک خودتون تبدیل به وب اپلیکیشن کنین گزینه های زیادی هست مثل streamlit یا فلسک که البته یکم کار باهاشون سخت هست و نیاز به دانش برنامه نویسی داره. ولی الان یک راه حل دیگه معرفی می کنیم یعنی Mercury. این ابزار پایتونی، یک مزیت مهم داره که کسایی که خیلی توی برنامه نویسی قوی نیستند هم به راحتی میتونن ازش استفاده کننن. خیلی کار باهاش آسونه.

@persian_data

https://github.com/mljar/mercury

#تجربه_شخصی
پروژ‌ه‌های علوم داده، یکم ریسکی هستند
چون معمولا خروجی دارن ولی کارفرما فقط از شما خروجی خوب میخواد
پروژه‌های دیگه مثل طراحی سایت
وقتی به خروجی برسید تقریبا کار تمومه
ولی توی علوم داده صرف رسیدن به خروجی‌ کافی نیست

توی یک پروژه واقعی، جدیدترین متدها با کلی نوآوری و خلاقیت روی یک دیتا اعلام کردیم
متاسفانه خروجی داد ولی انصافا خروجی خوب نبود
و قسمت ناراحت‌کننده این بود که کارفرما فکر می‌کرد کار خاصی انجام نشده

هم باید خروجی باشه و هم باید خروجی خوب باشه
خروجی بد، مساوی هست با نادیده گرفتن تلاش‌ها
البته توی اون پروژه با کلی بحث و مذاکره تونستیم دیتاها را تغییر بدیم و نتایج خوب شد

ولی شما مثلا توی پروژ‌ه‌های تحت وب نگران خروجی و دقت و recall و امثالهم نیستید
و این سختی و حساس بودن پروژه‌های علوم داده نشون میده

@persian_data

یک بار واسه همیشه
قبل از قرار دادن کدها توی گیتهاب یک سر به این سایت بزنیم که چه لایسنسی (مربوط به بحث کپی رایت) برای کارمون مناسب تر هستش تا فردا روز دردسر درست نشه و مشخص کنیم دیگران اجازه دارن چه نوع استفاده هایی از کد و دیتا ما داشته باشن
https://choosealicense.com/

@persian_data

پارستدکس(Parstdex) با زبان پایتون نوشته شده و هدفش استخراج عبارت‌های نشان دهنده‌ی تاریخ و زمان از متن است. استخراج چنین عباراتی کاربرد‌های زیادی دارد برای مثال استخراج تاریخ و زمان ملاقات در ایمیل‌ها، پنهان‌سازی تاریخ و زمان از متن از جهات privacy، استخراج زمان یک وظیفه در برنامه‌های مدیریت کار (مثل Microsoft Todo) و غیره.
پارستدکس در دسته ابزار‌های rule-based قرار می‌گیره که با استفاده از پترن‌های مختلف، regex های زیادی رو تولید می‌کنه و بر اساس regex های تولیدشده مارکر‌های زمانی و تاریخی رو از متن استخراج می‌کند.

@persian_data

https://github.com/kargaranamir/parstdex/

خب توی کار با متون، همیشه یکی از چالش‌های اصلی جملات محاوره هست چون مدلمان روی داده‌های رسمی مثل اخبار خوب عمل می کنه ولی روی متون محاوره آبروریزی می کنه. یک دیتاست جالب واسه متون محاوره فارسی پیدا کردم که خیلی باحال و کار راه اندازه ...
حتماً یک نگاه بهش بندازین

@persian_data

https://iasbs.ac.ir/~ansari/lscp/fa/index.html

میخام یک دیتاست تازه از تنور درآمده معرفی کنم که واسه زبان فارسیه
یکی از پایه ای ترین مباحث NLI هست که کاربرد زیادی داره مثلا وقتی شما از برت استفاده کنید، برت در سطح کلمه هست و در سطح جمله نتایج بیخود و به درد نخوره، حالا چیکار باید کرد؟ باید به سمت آموزش برت در سطح جمله از طریق مواردی مثل nli بود به کمک این دیتاست میشه به راحتی چنین کاری کرد....

لطفا به اشتراک بگذارید👈🏻 @persian_data

https://github.com/ZahraGhasemi-AI/FarSick

این کتابخانه مثل یک API برای دریافت اخرین اخبار از خبرگزاری های مهم فارسی زبان داخلی و خارجی است. دریافت عناوین خبر به همراه متن اصلی با تاخیر بین ۲ تا ۶ ثانیه. به راحتی و بدون نوشتن کرالر از صفر، میشه یک دیتاست خوب جمع و جور کرد. البته خب خیلی به درد کارهای پژوهشی مثل مقاله و پایان نامه میخوره.

لطفا به اشتراک بگذارید👈🏻 @persian_data

https://github.com/hamid/iranian-news-agencies-crawler

این کتاب برای افراد مبتدی که هیچ آشنایی با یادگیری عمیق ندارند در نظر گرفته شده است تا خوانندگان را با یک دوره‌یِ فوقِ سریع در یادگیری عمیق آماده کند. تنها انتظار ما از خوانندگان این است که از قبل مهارت‌های برنامه‌نویسی اولیه در زبان پایتون را داشته باشند. این راهنمایِ کوتاه، در نظر گرفته شده است تا شما را به عنوان یک مبتدی با درک درستی از موضوع، از جمله تجربه‌یِ عملیِ ملموس در توسعه مدل‌ها، مجهز کند. از این‌رو، اگر در حال حاضر بالاتر از سطح مبتدی هستید، این کتاب مناسب شما نیست!

لطفا به اشتراک بگذارید👈🏻 @persian_data

کتاب در۶ فصل تنظیم شده است که شامل فصل‌های زیر می‌باشد:
فصل اول: مقدمه‌ای بر یادگیری عمیق
فصل دوم: پیش‌نیازها
فصل سوم: شبکه‌های عصبی پیش‌خور
فصل چهارم: شبکه‌های عصبی کانولوشنی
فصل پنجم: شبکه‌های عصبی بازگشتی
فصل ششم: شبکه متخاصم مولد

چگونه به کمک گیت‌هاب، وب‌سایت شخصی یا شرکتی رایگان بسازیم؟
اگر برای معرفی خودتان، محصول یا شرکت خود، نیاز به ایجاد وب‌سایت دارید ولی سادگی و سرعت برایتان مهم باشد و بخواهید به‌صورت رایگان و بدون کدنویسی یک وب‌سایت ایجاد کنید، پیشنهاد ما استفاده از گیت‌هاب است که لازم نیست هزینه‌ای برای سرور و دامنه پرداخت شود.

ادامه مطلب در آدرس زیر
https://data-hub.ir/how-to-host-a-website-on-github/

لطفا به اشتراک بگذارید👈🏻 @persian_data

سلام خسته نباشید. امیدوارم حالتون خیلی خوب باشه.

من این دیتاست رو خودم خزش کردم و ممکنه برای بقیه هم مفید باشه. دیتاست حاوی ۳۴۰MB متن است.

دیتاست مجموعه اخبار تسنیم نیوز هست که اخبار label نوع خبر هم دارند. خود خزشگر رو داخل گیت هابم به آدرس زیر گذاشتم
https://github.com/pourmand1376/TasnimNewsCrawler
و دیتاست هم در kaggle اپلود شده است.
https://www.kaggle.com/datasets/amirpourmand/tasnimdataset

لطفا به اشتراک بگذارید👈🏻 @persian_data

در این مدت، تا الان دوستان زیادی لطف داشتند و دیتاست یا کتاب‌های خودشان را برای معرفی در کانال برای ما ارسال کردند. یکی از دوستانی که قبلاً به پیشنهاد خودشان دیتاستشان را در کانال معرفی کردیم، اخیراً پیام داده و تشکر کردند چون از یکی از دیتاست های دیگر کانال در پروژه کاری خودشان استفاده کرده بودند و کارشان راه افتاده بود. این مثال واقعی از اثربخشی به‌اشتراک‌گذاری است که مثل یک چرخه به همدیگر کمک می‌کنیم. اگر دیتاست خوبی ملاحظه کردید یا خودتان دیتا مناسبی تهیه کردید برای ما ارسال کنید در صورت مناسب بودن در کانال قرار خواهیم داد.
ای دی ادمین: @Data_hub