📑 آشنایی با ویژگی های کلیدی نسخه 3.0 آپاچی اسپارک

✔️ 2x performance improvement on TPC-DS over Spark 2.4, enabled by adaptive query execution, dynamic partition pruning and other optimizations

✔️ ANSI SQL compliance

✔️ Significant improvements in pandas APIs, including Python type hints and additional pandas UDFs

✔️ Better Python error handling, simplifying PySpark exceptions

✔️ New UI for structured streaming

✔️ Up to 40x speedups for calling R user-defined functions

✔️ Over 3,400 Jira tickets resolved

#اسپارک #Spark

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_School

یه خبر خوب برای علاقه مندان به علم داده و بیگ دیتا

دیتاست ِبیش از یک میلیون و هفتصدهزار مقاله ی وب سایت معتبر Arxiv هم اکنون در دسترس است. خیلی کارهای قشنگی میشه با استفاده از الگوریتم های ماشین لرنینگ و مدل های دیپ لرنینگ روی این تیپ دیتا انجام داد.

لینک خبر در Arxiv
لینک دیتاست در Kaggle

#دیتاست #بیگ_دیتا

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_School

آشنایی با دستور DROPMALFORMED در اسپارک

وقتی شما یه فایل CSV رو با یه اسکیمای خاص می خواید بخونید، ممکنه دیتای اصلی در فایل با اون اسکیمای خاص مطابقت نداشته باشه.

بعنوان مثال، یه فیلدی که برای اسم یه شهر تعریف شده، نمی تونه بعنوان یه مقدار عددی، Parse بشه.

اینجا دستور DROPMALFORMED میاد خطوطی رو که شامل فیلدهایی میشن که نمی تونن Parse بشن رو پاک می کنه.

#اسپارک

#Spark #DROPMALFORMED

🎖SparkStack

📘 کتابخانه Spark NLP Enterprise نسخه 2.5.5 آماده دریافته و یکی از ویژگی های کلیدی اون امکان استخراج روابط بالینی یا Clinical Relation Extraction (RE) هستش. شما می تونید این قابلیت رو با با مدل های از پیش آموزش دیده شده NER در پایپ لاین یکسان استفاده کنید یا اینکه بیاین مدل Relation Extraction تون برای انواع و اقسام روابط آموزش بدین.

🖥 برای نصبش می تونید به این شکل پیش برین:

$ 𝚙𝚒𝚙 𝚒𝚗𝚜𝚝𝚊𝚕𝚕 𝚜𝚙𝚊𝚛𝚔-𝚗𝚕𝚙==2.5.5 𝚙𝚢𝚜𝚙𝚊𝚛𝚔==2.4.4

🌐 نوت بوک آموزشی مرتبط

⚪️ صفحه آزمایشگاه های جان اسنو در لینکدین که روی توسعه Spark NLP کار میکنن

📙محتوا

#اسپارک #پردازش_متن #استخراج_روابط_بالینی #healthcareai #healthcareanalytics #SparkNLP #NLP #NER

🎥 می تونید صفحه مدرسه در اینستاگرام رو دنبال بفرمایید.

💎https://www.instagram.com/bigdata_school

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_School

🎁🎁🎁 جشنواره ویژه تخفیف تابستانه دوره های آنلاین علم داده و بیگ دیتا تا سقف 78% تخفیف

🛍دوره آموزشی بیگ دیتا با Hadoop و Apache Spark

🛍دوره آموزشی پروژه محور بیگ دیتا بر بستر پلتفرم قدرتمند Cloudera

🛍دوره آموزشی پیشرفته پروژه محور پردازش زبان طبیعی با شبکه های عمیق

🛍دوره آموزشی علم داده با Python Pandas

🛍دوره آموزشی تحلیل گراف و شبکه های اجتماعی با Python NetworkX

🎥 مشاهده ویدیوهای آموزشی رایگان در صفحه اینستاگرام

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_School

📘لیستی از پست های کلیدی کانال پیرامون دیتاساینس و بیگ دیتا

🎁 اگه دوست داشتید دوستانتون هم از این مقالات و نوشته ها باخبر بشن می تونید این پست رو با اون ها به اشتراک بزارین 😊

آشنایی با مولفه های اکوسیستم #هدوپ

https://news.1rj.ru/str/BigDataSchool/18

ارتباطات ابزارهای کلیدی اکوسیستم #بیگ_دیتا

https://news.1rj.ru/str/BigDataSchool/19

آشنایی با آپاچی #فلوم

https://news.1rj.ru/str/BigDataSchool/21

آشنایی با فاز #Combine در #Map_Reduce

https://news.1rj.ru/str/BigDataSchool/22

آشنایی با Vهای کلیدی در #بیگ_دیتا

https://news.1rj.ru/str/BigDataSchool/27

بررسی ویژگی های #Velocity و #Variability

https://news.1rj.ru/str/BigDataSchool/29

لینک برگزاری رویداد معتبر TensorFlow Dev Summit 2020

https://news.1rj.ru/str/BigDataSchool/30

لینک برگزاری رویداد Simplify and Scale Data Engineering Pipelines with Delta Lake

https://news.1rj.ru/str/BigDataSchool/31

نسخه Gartner Magic Quadrant 2020 برای #دیتاساینس

https://news.1rj.ru/str/BigDataSchool/32

لینک مصاحبه ای با Brooke Wenig از مهندسان #Machine_Learning در کمپانی معتبر #Databricks

https://news.1rj.ru/str/BigDataSchool/34

لینک ویدیوی آموزشی رایگان فارسی زبان آشنایی با علم داده و مهارت هایی که یک دانشمند داده باید آنها را بلد باشد

https://news.1rj.ru/str/BigDataSchool/42

لینک ویدیوی آموزشی رایگان فارسی زبان آشنایی با کتابخانه پانداس

https://news.1rj.ru/str/BigDataSchool/43

لینک ویدیوی آموزشی رایگان فارسی زبان آشنایی با دستورات کلیدی کتابخانه پانداس

https://news.1rj.ru/str/BigDataSchool/44

لینک ویدیوی آموزشی رایگان فارسی زبان آشنایی با توابع تجمعی به منظور پرس و جو در کتابخانه پانداس

https://news.1rj.ru/str/BigDataSchool/45

آشنایی با #دریاچه_داده، مقایسه آن با #انباره_داده به همراه معرفی #Delta_Lake

https://news.1rj.ru/str/BigDataSchool/46

تحلیل گراف در محیط توزیع شده با استفاده از Apache Spark

https://news.1rj.ru/str/BigDataSchool/49

آشنایی با #الستیک_سرچ و بررسی مولفه های کلیدی #ELK_Stack

https://news.1rj.ru/str/BigDataSchool/53

آشنایی با Apache NiFi

https://news.1rj.ru/str/BigDataSchool/58

آشنایی با پلتفرم تحلیل بیگ دیتای کلاودرا، بخش اول

https://news.1rj.ru/str/BigDataSchool/164

آشنایی با پلتفرم تحلیل بیگ دیتای کلاودرا، بخش دوم

https://news.1rj.ru/str/BigDataSchool/165

لینک ویدیوی آموزشی رایگان فارسی زبان

https://news.1rj.ru/str/BigDataSchool/170

لینک ویدیوی آموزشی رایگان فارسی زبان تحلیل دیتای Twitter با MongoDB

https://news.1rj.ru/str/BigDataSchool/173

شماتیکی از نحوه ذخیره سازی #داده در #NameNode و #DataNode در یک #HadoopCluster

https://news.1rj.ru/str/BigDataSchool/178


لینک ویدیوی آموزشی رایگان فارسی زبان آشنایی با #Cloudera_Stack

https://news.1rj.ru/str/BigDataSchool/188

معرفی پنج کتاب کلیدی در حوزه #علم_داده

https://news.1rj.ru/str/BigDataSchool/197

نکات و ترفندهای مدیریت هدوپ

https://news.1rj.ru/str/BigDataSchool/203

معرفی جامع و آشنایی کامل با آپاچی اسپارک

https://news.1rj.ru/str/BigDataSchool/215

آشنایی با HBase: یک پایگاه داده توزیع شده NoSQL

https://news.1rj.ru/str/BigDataSchool/217

آشنایی با #Kafka

https://news.1rj.ru/str/BigDataSchool/228

لینک ویدیوی آموزشی رایگان فارسی زبان آشنایی با پتلفرم Splunk

https://news.1rj.ru/str/BigDataSchool/240

بررسی تفاوت های کلیدی SQL و NoSQL

https://news.1rj.ru/str/BigDataSchool/241

آشنایی با دیتابیس گرافی #Neo4j

https://news.1rj.ru/str/BigDataSchool/242

لینک ویدیوی آموزشی رایگان فارسی آشنایی با Cloudera

https://news.1rj.ru/str/BigDataSchool/247

لینک ویدیوی آموزشی رایگان فارسی آشنایی با Apache Spark

https://news.1rj.ru/str/BigDataSchool/253

لینک ویدیوی آموزشی رایگان فارسی آشنایی با کتابخانه کلیدی پردازش گراف Python

https://news.1rj.ru/str/BigDataSchool/256

آشنایی با مفهوم کلان داده
https://news.1rj.ru/str/BigDataSchool/271

آشنایی با پتلفرم هوش تجاری Power BI بخش اول

https://news.1rj.ru/str/BigDataSchool/283

مفاهیم کلیدی علم داده

https://news.1rj.ru/str/BigDataSchool/309

علم گراف کاوی

https://news.1rj.ru/str/BigDataSchool/311

پنج کتابخانه برتر #ماشین_لرنینگ

https://news.1rj.ru/str/BigDataSchool/316

کتابخانه های برتر پردازش متن

https://news.1rj.ru/str/BigDataSchool/322

آشنایی با پلتفرم هوش تجاری Power BI، قسمت دوم

https://news.1rj.ru/str/BigDataSchool/323

معرفی دوره آموزشی غیرحضوری بیگ دیتا با پایتون

https://news.1rj.ru/str/BigDataSchool/329

برگه راهنمای PySpark API در Apache Spark

https://news.1rj.ru/str/BigDataSchool/347

معرفی دوره آموزشی تحلیل شبکه های اجتماعی با پایتون

https://news.1rj.ru/str/BigDataSchool/348


معرفی دوره دوره آموزشی پروژه محور پیشرفته پردازش زبان طبیعی با یادگیری عمیق

https://news.1rj.ru/str/BigDataSchool/376

🎥 مشاهده ویدیوهای آموزشی رایگان در صفحه اینستاگرام

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_School

امروز افتخار این رو داشتم که به عنوان کوچکترین عضو در بین بزرگانی که در دومین دوره مجموعه سخنرانی‌های علم داده و هوش مصنوعی دانشگاه صنعتی امیرکبیر به عنوان Invited Speakers و Instructors حضور داشتند وُرکشاپ آموزشی Deep Learning-based Natural Language Processing by TensorFlow رو برگزار کنم.

اول از همه خدا رو شاکرم که این توفیق رو داشتم و در ادامه به بچه های جوان و پرانگیزه انجمن علمی مهندسی کامپیوتر امیرکبیر تبریک میگم که با همت و تلاش شون این رویداد ارزشمند رو در شرایط سخت کرونا برگزار کردند و به همه شون خسته نباشید می گم.

سخنرانان خوب و برجسته ای تو این دوره از گوگل دیپ مایند، گوگل برین، آزمایشگاه هوش مصنوعی فیس بوک، دانشگاه استنفورد، دانشگاه کالیفرنیا، دانشگاه میشیگان، دانشگاه ETH زوریخ، دانشگاه KTH سوئد، شریف و تهران و امیرکبیر و جاهای خوب دیگه حضور خواهند که اهمیت این رویداد ارزشمند رو دو چندان می‌کنه.

امیدوارم بازم شاهد این رویدادهای علمی خوب و برجسته توسط بچه های خوب سرزمین مون ایران باشیم و بتونیم دانش مون رو با هم به اشتراک بزاریم.

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_Schoo

📘 کانال Data Science

اگه پیگیر آموزش های نوین علم داده و رویکردهای داده محور با موضوعات

Data Science, Machine Learning, Statistics, Econometrics, BI, big data

هستید می تونید کانال Data Science رو دنبال کنید و از مطالب آموزشی اش بهره مند بشید.

https://news.1rj.ru/str/Data_ScienceR

🖥 دوره آنلاین پروژه محور Data Science و Big Data Analytics

💻 به همراه پیاده سازی پروژه های متعدد صنعتی بر بستر Python و کتابخانه های تحلیل داده

⏰ شروع دوره: یکم شهریور ماه

⚙️ طول برگزاری دوره: دو ماه

🌐 کسب اطلاعات بیشتر از سرفصل ها و جزئیات دوره

🎥 مشاهده ویدیوهای آموزشی رایگان در صفحه اینستاگرام

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_School

🎁🎁🎁 جشنواره ویژه تخفیف تابستانه دوره های آنلاین علم داده و بیگ دیتا تا سقف 78% تخفیف

🛍دوره آموزشی بیگ دیتا با Hadoop و Apache Spark

🛍دوره آموزشی پروژه محور بیگ دیتا بر بستر پلتفرم قدرتمند Cloudera

🛍دوره آموزشی پیشرفته پروژه محور پردازش زبان طبیعی با شبکه های عمیق

🛍دوره آموزشی علم داده با Python Pandas

🛍دوره آموزشی تحلیل گراف و شبکه های اجتماعی با Python NetworkX

🎥 مشاهده ویدیوهای آموزشی رایگان در صفحه اینستاگرام

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_School

همانا در قلوب مومنین، به سبب شهادت حسین علیه السلام، حرارتی وجود دارد که هیچ گاه سرد و خاموش نخواهد شد.

پیامبر اکرم صلی الله علیه و آله و سلم

کتاب شریف جامع احادیث الشیعه ، ج 12، ص 556