مهندسی داده ها – Telegram
مهندسی داده ها
7.49K subscribers
476 photos
17 videos
90 files
648 links
🔶 لینکدین
🔗 Linkedin.com/in/mohammadheydari/

🔶 اینستاگرام
🔗 Instagram.com/HeydariToday

🔶 ایکس
🔗 X.com/HeydariToday

یوتیوب
🔗 Youtube.com/@MohammadHeydari

🔶 مدرسه علم داده
🔗 https://bigdataworld.ir/

🔶آیدی من در تلگرام
🔗 @BigDataEngineer
Download Telegram
📘 کتابخانه Spark NLP Enterprise نسخه 2.5.5 آماده دریافته و یکی از ویژگی های کلیدی اون امکان استخراج روابط بالینی یا Clinical Relation Extraction (RE) هستش. شما می تونید این قابلیت رو با با مدل های از پیش آموزش دیده شده NER در پایپ لاین یکسان استفاده کنید یا اینکه بیاین مدل Relation Extraction تون برای انواع و اقسام روابط آموزش بدین.

🖥 برای نصبش می تونید به این شکل پیش برین:

$ 𝚙𝚒𝚙 𝚒𝚗𝚜𝚝𝚊𝚕𝚕 𝚜𝚙𝚊𝚛𝚔-𝚗𝚕𝚙==2.5.5 𝚙𝚢𝚜𝚙𝚊𝚛𝚔==2.4.4

🌐 نوت بوک آموزشی مرتبط

⚪️ صفحه آزمایشگاه های جان اسنو در لینکدین که روی توسعه Spark NLP کار میکنن

📙محتوا

#اسپارک #پردازش_متن #استخراج_روابط_بالینی #healthcareai #healthcareanalytics #SparkNLP #NLP #NER

🎥 می تونید صفحه مدرسه در اینستاگرام رو دنبال بفرمایید.

💎https://www.instagram.com/bigdata_school

🏅
BigDataworld.ir
🏅BigDataSchool
🏅BigData_School
🔔کوییز شماره 15 با محوریت کتابخانه Streaming در Apache Spark

سطح تجرید اصلی در Spark Streaming کدام یک از گزینه های ذیل است؟
Anonymous Quiz
30%
RDD
19%
Shared Variables
36%
DStream
15%
هیچ کدام
🔔کوییز شماره 16 با محوریت کتابخانه Streaming در Apache Spark

در Spark Streaming کدام یک از گزینه های ذیل می توانند جزو Data Source ها قرار گیرند؟
Anonymous Quiz
15%
Apache Kafka
7%
Apache Flume
10%
Amazon Kinesis
12%
Amazon S3
12%
Azure
7%
Delta Lakes
37%
تمام موارد
📘لیستی از پست های کلیدی کانال پیرامون دیتاساینس و بیگ دیتا

🎁 اگه دوست داشتید دوستانتون هم از این مقالات و نوشته ها باخبر بشن می تونید این پست رو با اون ها به اشتراک بزارین 😊

آشنایی با مولفه های اکوسیستم #هدوپ

https://news.1rj.ru/str/BigDataSchool/18

ارتباطات ابزارهای کلیدی اکوسیستم #بیگ_دیتا

https://news.1rj.ru/str/BigDataSchool/19

آشنایی با آپاچی #فلوم

https://news.1rj.ru/str/BigDataSchool/21

آشنایی با فاز #Combine در #Map_Reduce

https://news.1rj.ru/str/BigDataSchool/22

آشنایی با Vهای کلیدی در #بیگ_دیتا

https://news.1rj.ru/str/BigDataSchool/27

بررسی ویژگی های #Velocity و #Variability

https://news.1rj.ru/str/BigDataSchool/29

لینک برگزاری رویداد معتبر TensorFlow Dev Summit 2020

https://news.1rj.ru/str/BigDataSchool/30

لینک برگزاری رویداد Simplify and Scale Data Engineering Pipelines with Delta Lake

https://news.1rj.ru/str/BigDataSchool/31

نسخه Gartner Magic Quadrant 2020 برای #دیتاساینس

https://news.1rj.ru/str/BigDataSchool/32

لینک مصاحبه ای با Brooke Wenig از مهندسان #Machine_Learning در کمپانی معتبر #Databricks

https://news.1rj.ru/str/BigDataSchool/34

لینک ویدیوی آموزشی رایگان فارسی زبان آشنایی با علم داده و مهارت هایی که یک دانشمند داده باید آنها را بلد باشد

https://news.1rj.ru/str/BigDataSchool/42

لینک ویدیوی آموزشی رایگان فارسی زبان آشنایی با کتابخانه پانداس

https://news.1rj.ru/str/BigDataSchool/43

لینک ویدیوی آموزشی رایگان فارسی زبان آشنایی با دستورات کلیدی کتابخانه پانداس

https://news.1rj.ru/str/BigDataSchool/44

لینک ویدیوی آموزشی رایگان فارسی زبان آشنایی با توابع تجمعی به منظور پرس و جو در کتابخانه پانداس

https://news.1rj.ru/str/BigDataSchool/45

آشنایی با #دریاچه_داده، مقایسه آن با #انباره_داده به همراه معرفی #Delta_Lake

https://news.1rj.ru/str/BigDataSchool/46

تحلیل گراف در محیط توزیع شده با استفاده از Apache Spark

https://news.1rj.ru/str/BigDataSchool/49

آشنایی با #الستیک_سرچ و بررسی مولفه های کلیدی #ELK_Stack

https://news.1rj.ru/str/BigDataSchool/53

آشنایی با Apache NiFi

https://news.1rj.ru/str/BigDataSchool/58

آشنایی با پلتفرم تحلیل بیگ دیتای کلاودرا، بخش اول

https://news.1rj.ru/str/BigDataSchool/164

آشنایی با پلتفرم تحلیل بیگ دیتای کلاودرا، بخش دوم

https://news.1rj.ru/str/BigDataSchool/165

لینک ویدیوی آموزشی رایگان فارسی زبان

https://news.1rj.ru/str/BigDataSchool/170

لینک ویدیوی آموزشی رایگان فارسی زبان تحلیل دیتای Twitter با MongoDB

https://news.1rj.ru/str/BigDataSchool/173

شماتیکی از نحوه ذخیره سازی #داده در #NameNode و #DataNode در یک #HadoopCluster

https://news.1rj.ru/str/BigDataSchool/178


لینک ویدیوی آموزشی رایگان فارسی زبان آشنایی با #Cloudera_Stack

https://news.1rj.ru/str/BigDataSchool/188

معرفی پنج کتاب کلیدی در حوزه #علم_داده

https://news.1rj.ru/str/BigDataSchool/197

نکات و ترفندهای مدیریت هدوپ

https://news.1rj.ru/str/BigDataSchool/203

معرفی جامع و آشنایی کامل با آپاچی اسپارک

https://news.1rj.ru/str/BigDataSchool/215

آشنایی با HBase: یک پایگاه داده توزیع شده NoSQL

https://news.1rj.ru/str/BigDataSchool/217

آشنایی با #Kafka

https://news.1rj.ru/str/BigDataSchool/228

لینک ویدیوی آموزشی رایگان فارسی زبان آشنایی با پتلفرم Splunk

https://news.1rj.ru/str/BigDataSchool/240

بررسی تفاوت های کلیدی SQL و NoSQL

https://news.1rj.ru/str/BigDataSchool/241

آشنایی با دیتابیس گرافی #Neo4j

https://news.1rj.ru/str/BigDataSchool/242

لینک ویدیوی آموزشی رایگان فارسی آشنایی با Cloudera

https://news.1rj.ru/str/BigDataSchool/247

لینک ویدیوی آموزشی رایگان فارسی آشنایی با Apache Spark

https://news.1rj.ru/str/BigDataSchool/253

لینک ویدیوی آموزشی رایگان فارسی آشنایی با کتابخانه کلیدی پردازش گراف Python

https://news.1rj.ru/str/BigDataSchool/256

آشنایی با مفهوم کلان داده
https://news.1rj.ru/str/BigDataSchool/271

آشنایی با پتلفرم هوش تجاری Power BI بخش اول

https://news.1rj.ru/str/BigDataSchool/283

مفاهیم کلیدی علم داده

https://news.1rj.ru/str/BigDataSchool/309

علم گراف کاوی

https://news.1rj.ru/str/BigDataSchool/311

پنج کتابخانه برتر #ماشین_لرنینگ

https://news.1rj.ru/str/BigDataSchool/316

کتابخانه های برتر پردازش متن

https://news.1rj.ru/str/BigDataSchool/322

آشنایی با پلتفرم هوش تجاری Power BI، قسمت دوم

https://news.1rj.ru/str/BigDataSchool/323

معرفی دوره آموزشی غیرحضوری بیگ دیتا با پایتون

https://news.1rj.ru/str/BigDataSchool/329

برگه راهنمای PySpark API در Apache Spark

https://news.1rj.ru/str/BigDataSchool/347

معرفی دوره آموزشی تحلیل شبکه های اجتماعی با پایتون

https://news.1rj.ru/str/BigDataSchool/348


معرفی دوره دوره آموزشی پروژه محور پیشرفته پردازش زبان طبیعی با یادگیری عمیق

https://news.1rj.ru/str/BigDataSchool/376

🎥 مشاهده ویدیوهای آموزشی رایگان در صفحه اینستاگرام

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_School
مهندسی داده ها
📘لیستی از پست های کلیدی کانال پیرامون دیتاساینس و بیگ دیتا 🎁 اگه دوست داشتید دوستانتون هم از این مقالات و نوشته ها باخبر بشن می تونید این پست رو با اون ها به اشتراک بزارین 😊 آشنایی با مولفه های اکوسیستم #هدوپ https://news.1rj.ru/str/BigDataSchool/18 ارتباطات ابزارهای…
امروز افتخار این رو داشتم که به عنوان کوچکترین عضو در بین بزرگانی که در دومین دوره مجموعه سخنرانی‌های علم داده و هوش مصنوعی دانشگاه صنعتی امیرکبیر به عنوان Invited Speakers و Instructors حضور داشتند وُرکشاپ آموزشی Deep Learning-based Natural Language Processing by TensorFlow رو برگزار کنم.

اول از همه خدا رو شاکرم که این توفیق رو داشتم و در ادامه به بچه های جوان و پرانگیزه انجمن علمی مهندسی کامپیوتر امیرکبیر تبریک میگم که با همت و تلاش شون این رویداد ارزشمند رو در شرایط سخت کرونا برگزار کردند و به همه شون خسته نباشید می گم.

سخنرانان خوب و برجسته ای تو این دوره از گوگل دیپ مایند، گوگل برین، آزمایشگاه هوش مصنوعی فیس بوک، دانشگاه استنفورد، دانشگاه کالیفرنیا، دانشگاه میشیگان، دانشگاه ETH زوریخ، دانشگاه KTH سوئد، شریف و تهران و امیرکبیر و جاهای خوب دیگه حضور خواهند که اهمیت این رویداد ارزشمند رو دو چندان می‌کنه.

امیدوارم بازم شاهد این رویدادهای علمی خوب و برجسته توسط بچه های خوب سرزمین مون ایران باشیم و بتونیم دانش مون رو با هم به اشتراک بزاریم.

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_Schoo
Forwarded from مهندسی داده ها (Mohammad Heydari)
💎 دوره آموزشی پروژه محور پیشرفته پردازش زبان طبیعی با یادگیری عمیق

💻 به همراه پیاده سازی پروژه های عملی متعدد و متنوع

🎁 لینک دوره جهت ثبت نام و تهیه این دوره ویژه


🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_School
📘 کانال Data Science

اگه پیگیر آموزش های نوین علم داده و رویکردهای داده محور با موضوعات

Data Science, Machine Learning, Statistics, Econometrics, BI, big data

هستید می تونید کانال Data Science رو دنبال کنید و از مطالب آموزشی اش بهره مند بشید.

https://news.1rj.ru/str/Data_ScienceR
🖥 دوره آنلاین پروژه محور Data Science و Big Data Analytics

💻 به همراه پیاده سازی پروژه های متعدد صنعتی بر بستر Python و کتابخانه های تحلیل داده

شروع دوره: یکم شهریور ماه

⚙️ طول برگزاری دوره: دو ماه

🌐
کسب اطلاعات بیشتر از سرفصل ها و جزئیات دوره

🎥 مشاهده ویدیوهای آموزشی رایگان در صفحه اینستاگرام

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_School
همانا در قلوب مومنین، به سبب شهادت حسین علیه السلام، حرارتی وجود دارد که هیچ گاه سرد و خاموش نخواهد شد.

پیامبر اکرم صلی الله علیه و آله و سلم

کتاب شریف جامع احادیث الشیعه ، ج 12، ص 556
کوییز شماره هفده از بخش Apache Spark

کدام یک از موارد زیر به ترتیب، به پارامترهای اختصاصی Window Operation در Spark Streaming اشاره دارد؟
Anonymous Quiz
12%
State size, window length
4%
State size, sliding interval
46%
Window length, sliding interval
23%
sliding interval, Window length
15%
هیچ کدام
کوییز شماره هجده از بخش Apache Hadoop

فایل های آرشیوی که در هدوپ ساخته می شوند با چه پسوندی شناخته می شوند؟
Anonymous Quiz
14%
.hrar
43%
.hrc
10%
.hrh
33%
.har
کوییز شماره نوزده از بخش Apache Hadoop

کدام دستور به منظور بررسی تمامی deamon هایی که در HDFS در حال اجرا هستند استفاده می شود؟
Anonymous Quiz
11%
distcp
33%
jps
22%
fsck
33%
hdchk
کوییز شماره بیست از بخش Apache Hadoop

یکی از دلایلی که باعث میشه Hadoop بتونه Reliable باشه، فرآیند Data Replication اون هستش که روی گره های فیزیکی متعددی انجام میشه، بنابراین نیاز به ذخیره سازی ___________________ در سطح گره های فیزیکی وجود نداره.
Anonymous Quiz
16%
ZFS
53%
RAID
23%
Standard RAID levels
7%
Operating System
🎁🎁🎁 جشنواره ویژه تخفیف تابستانه دوره های آنلاین علم داده و بیگ دیتا از شصت درصد تا هفتاد و هشت درصد تخفیف

🎥 مشاهده ویدیوهای آموزشی رایگان در صفحه اینستاگرام

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_School
اگه به مهندسی داده، پایپ لاین های داده و پردازش استریم علاقه مندید این پست رو از دست ندید و به دوستانتون هم معرفی اش کنید.

از اونجایی که شخصا به Stream Processing و بخصوص Kafka علاقه زیادی دارم این پست که یه Becnhmarking هست از سه ابزار کلیدی Kafka, Pulsar, rabbitmq می تونه براتون جالب باشه.

نکته: فرآیند Benchmark بر اساس OpenMessaging Benchmark Framework صورت گرفته.

متریک های اندازه گیری جهت ارزیابی سریع ترین ابزار از بین سه ابزار مذکور:

*Throughput
*Latency

نتیجه:

ابزار کلیدی Kafka از نظر متریک های توان عملکردی یا Throughput و Latency یا نرخ تاخیر بهترین عملکرد را ارائه کرده است. در توان های پردازشی پایین تر، RabbitMQ پیام ها را با تاخیرهای بسیار کمی ارسال کرده است.

پیاده سازی فاز تست:

چهار نمونه Worker
سه نمونه Broker/ Server
یک نمونه Monitoring
سه نمونه Apache ZooKeeper Cluster برای Kafka و Pulsar

لینک مقاله آموزشی کلیدی Kafka در وب سایت مدرسه بیگ دیتا
لینک وبلاگ
لینک مقایسه Kafka و Pulsar

🎥
مشاهده ویدیوهای آموزشی رایگان در صفحه اینستاگرام

🏅
BigDataworld.ir
🏅BigDataSchool
🏅BigData_School
🖥 کارگاه آموزشی آنلاین Spark و PySpark

🕔 زمان: پنج شنبه، ۶ شهریور، ساعت ۱۷:۰۰ عصر

📑 ظرفیت محدود

☑️ لینک ثبت نام

🏅BigDataworld.ir
🏅BigDataSchool
🏅BigData_School