یه سری از دستورات و توابع کلیدی کتابخانه Pandas در این درسنامه ها قرار دارند که دونستن شون برای هر تحلیل گر داده واجبه.

#پانداس #Pandas

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_School

Arctic Code Vault

چند وقت پیش گیت هاب خبری رو منتشر کرد که تعداد زیادی از ریپوزیتوری های پابلیک و اکتیو رو به قطب شمال بردن و اونجا نگهداریشون می‌کنن. توی این کلیپ دقیقا نشون داده شده کجا و به چه شکل نگهداری میشن.

خیلی جالبه از دست ندید. 👌

مدل تنسورفلوی خود را در گوگل کلاود با استفاده از تنسورفلو کلاود آموزش دهید.

#تنسورفلو #کلاود #Tensorflow

https://blog.tensorflow.org/2020/08/train-your-tensorflow-model-on-google.html?m=1

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigDataSchool

هم اکنون پلتفرم Databricks، نسخه ۷.۱‌ از Big Query بعنوان راهکاری برای تحلیل داده های ذخیره شده در Google Cloud پشتیبانی می کند.

مزایا:

🎖کاهش حجم انتقال داده
🎖پیاده سازی کوئری های سریع تر
🏅امکان اجرای Direct Query

#Databricks #BigQuery #GoogleCloud

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_School

📑 آشنایی با ویژگی های کلیدی نسخه 3.0 آپاچی اسپارک

✔️ 2x performance improvement on TPC-DS over Spark 2.4, enabled by adaptive query execution, dynamic partition pruning and other optimizations

✔️ ANSI SQL compliance

✔️ Significant improvements in pandas APIs, including Python type hints and additional pandas UDFs

✔️ Better Python error handling, simplifying PySpark exceptions

✔️ New UI for structured streaming

✔️ Up to 40x speedups for calling R user-defined functions

✔️ Over 3,400 Jira tickets resolved

#اسپارک #Spark

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_School

یه خبر خوب برای علاقه مندان به علم داده و بیگ دیتا

دیتاست ِبیش از یک میلیون و هفتصدهزار مقاله ی وب سایت معتبر Arxiv هم اکنون در دسترس است. خیلی کارهای قشنگی میشه با استفاده از الگوریتم های ماشین لرنینگ و مدل های دیپ لرنینگ روی این تیپ دیتا انجام داد.

لینک خبر در Arxiv
لینک دیتاست در Kaggle

#دیتاست #بیگ_دیتا

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_School

آشنایی با دستور DROPMALFORMED در اسپارک

وقتی شما یه فایل CSV رو با یه اسکیمای خاص می خواید بخونید، ممکنه دیتای اصلی در فایل با اون اسکیمای خاص مطابقت نداشته باشه.

بعنوان مثال، یه فیلدی که برای اسم یه شهر تعریف شده، نمی تونه بعنوان یه مقدار عددی، Parse بشه.

اینجا دستور DROPMALFORMED میاد خطوطی رو که شامل فیلدهایی میشن که نمی تونن Parse بشن رو پاک می کنه.

#اسپارک

#Spark #DROPMALFORMED

🎖SparkStack

📘 کتابخانه Spark NLP Enterprise نسخه 2.5.5 آماده دریافته و یکی از ویژگی های کلیدی اون امکان استخراج روابط بالینی یا Clinical Relation Extraction (RE) هستش. شما می تونید این قابلیت رو با با مدل های از پیش آموزش دیده شده NER در پایپ لاین یکسان استفاده کنید یا اینکه بیاین مدل Relation Extraction تون برای انواع و اقسام روابط آموزش بدین.

🖥 برای نصبش می تونید به این شکل پیش برین:

$ 𝚙𝚒𝚙 𝚒𝚗𝚜𝚝𝚊𝚕𝚕 𝚜𝚙𝚊𝚛𝚔-𝚗𝚕𝚙==2.5.5 𝚙𝚢𝚜𝚙𝚊𝚛𝚔==2.4.4

🌐 نوت بوک آموزشی مرتبط

⚪️ صفحه آزمایشگاه های جان اسنو در لینکدین که روی توسعه Spark NLP کار میکنن

📙محتوا

#اسپارک #پردازش_متن #استخراج_روابط_بالینی #healthcareai #healthcareanalytics #SparkNLP #NLP #NER

🎥 می تونید صفحه مدرسه در اینستاگرام رو دنبال بفرمایید.

💎https://www.instagram.com/bigdata_school

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_School

🎁🎁🎁 جشنواره ویژه تخفیف تابستانه دوره های آنلاین علم داده و بیگ دیتا تا سقف 78% تخفیف

🛍دوره آموزشی بیگ دیتا با Hadoop و Apache Spark

🛍دوره آموزشی پروژه محور بیگ دیتا بر بستر پلتفرم قدرتمند Cloudera

🛍دوره آموزشی پیشرفته پروژه محور پردازش زبان طبیعی با شبکه های عمیق

🛍دوره آموزشی علم داده با Python Pandas

🛍دوره آموزشی تحلیل گراف و شبکه های اجتماعی با Python NetworkX

🎥 مشاهده ویدیوهای آموزشی رایگان در صفحه اینستاگرام

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_School