سلام
در صورتیکه حجم زیادی از داده های جغرافیایی و داده های توصیفی دارید که قصد دارید انها را به صورت برخط پردازش کنید ابزارهایی همچون Spark می تواند کمک زیادی به شما کند. بسیاری از مسائل یادگیری ماشینی حاوی داده های جغرافیایی هستند که برای هر نوع استخراج دانش یا اجرای مدلهای لرنینگ نیازمند امکاناتی در جهت ترکیب انواع مختلف داده هستند. استفاده از کتابخانه های خواندن داده های Shape or GeoJSON و اسپارک می تواند نتیجه مناسبی را به همراه داشته باشد. مقاله زیر اطلاعات خوبی را در این زمینه به شما می دهد.
در صورتیکه دسترسی به GPU داشته باشید می توانید از کتابخانه cuSpatial در RAPIDS استفاده کنید که SpeedUp خیلی خوبی به پردازشهای شما می دهد و حتی در بصری سازی نیز تاخیر را به حداقل می رساند.
مقاله رپیدز
https://medium.com/rapids-ai/releasing-cuspatial-to-accelerate-geospatial-and-spatiotemporal-processing-b686d8b32a9
مقاله اسپارک
https://databricks.com/blog/2019/12/05/processing-geospatial-data-at-scale-with-databricks.html

تاریخچه تصویری جالب از مهمترین گام های برداشته شده در هوش مصنوعی

@haradatamining
Haragroup.ir

با استفاده از لینک زیر میتوانید ParsBERT را به صورت کاملا Visualized بر روی تسک‌های مختلف امتحان کنید (لینک قابل کلیک از بیو). فقط کافیه متن دلخواهتان را در کادر مورد نظر کپی کرده و دکمه‌ی آنالیز را بفشارید:

lab.hooshvare.com

#هوشواره #پردازش_زبان_طبیعی
#parsbert #bert #nlp #hooshvare

🔷 چرا یادگیری علم گراف کاوی در حوزه علم بیگ دیتا برای تمام علاقه مندان به این فیلد ضروری است؟

🔶 امروزه شبکه‌ها بخشی جدانشدنی از زندگی روزمره انسان‌ها شده‌اند. شبکه‌های اجتماعی و ارتباطی در اشکال مختلفی می توانند در هر فضایی جای بگیرند. شبکه همکاری آکادمیک اساتید و دانشجویان، شبکه ارتباطات بازیگران سینما، شبکه ارتباطات راه های کشور، شبکه دوستان و آشنایان ما در تلگرام، توییتر و اینستاگرام، همه و همه به نوبه خود نوعی از شبکه ها را به تصویر می کشند. هرکدام از این شبکه‌ها نقش خاص خود را در زندگی روزمره ما ایفا می‌کنند. توانایی تجزیه‌وتحلیل شبکه‌های پیچیده و اخد تصمیمات استراتژیک بر اساس اطلاعات نهان در این شبکه ها مهارتی است که هر دانشمند داده‌ای باید از آن برخوردار باشد.

📑 آشنایی با کتابخانه تحلیل گرافی Python NetworkX

📋 در این دوره آموزشی که یکی از ماژول های کلیدی نقشه راه جامع دانشمند داه می باشد به آموزش عملی گراف کاوی و تحلیل شبکه های اجتماعی با استفاده از کتابخانه کلیدی Python NetworkX میپردازیم. NetworkX، گراف هایی ایجاد می کند که از گره ها و یال ها تشکیل می شود.

📊 یکی از ویژگی های کلیدی شبکه پشتیبانی از انواع و اقسام داده می باشد بدین صورت که گره ها می توانند از نوع متن، صوت، تصویر، اسناد وب و … باشند و همچنین یال ها می توانند از نوع سری های زمانی، فواصل دلخواه و … را شامل شوند.

📘 کتابخانه کلیدی Python NetworkX، اساسا با دیکشنری ها کار میکند. با این وصف، به منظور ایجاد یک گراف دلخواه می بایست یک دیکشنری ایجاد کنیم که شامل یال های ما و اوزان مربوط به آن ها باشد البته در صورتی که گراف ما وزن دار باشد.

📗 از جمله امکانات این کتابخانه تحلیل گراف می توان به موارد ذیل اشاره کرد:

✅ پشتیبانی از ساختار داده ای Dictionary of Dictionary
✅ پشتیبانی از الگوریتم های پایه ای علم گراف
✅ تحلیل ساختار و پیکره بندی شبکه
✅ محاسبه انواع متنوع مرکزیت های اصلی در شبکه
✅ پشتیبانی از Built in Generator به منظور تولید گراف های Random و Semantic

🔔 در صورتی که علاقه مند به دنیای گراف کاوی و تحلیل شبکه های اجتماعی هستید دوره پروژه محور تحلیل گراف و شبکه های اجتماعی با Python NetworkX را از دست ندهید.

📖 مشاهده سرفصل های دوره آموزشی تحلیل گراف و شبکه های اجتماعی با Python NetworkX در 19 قسمت


🌐 BigDataWorld.ir
🌐 @BigDataSchool

✅ مهمترین کتابهای مربوط به حوزه Data Science که مطالعه شان را در سال ٢٠٢٠ توصیه شده است!


@BIMining

🔹 چرا به عنوان یه شخص علاقه مند به #Data_Science و #Big_Data ضروی هستش که مهندسی و تحلیل داده بر بستر پلتفرم قدرتمند #Cloudera رو به منظور #تقویت #رزومه_فنی مون و کسب #موقعیت_های_برتر_شغلی در آینده مون یادش بگیریم؟

🔸 اساسا ایجاد و کانفیگ یک #کلاستر به صورت دستی و نه خوکار کار زمان بری است، بررسی هر #نود در #کلاستر به صورت تک به تک وقتی نودها و کلاسترهای زیادی داریم، #کانفیگ هر یک از کلاسترها، #استقرار سرویس های مدنظرمان و راه اندازی مجدد هر یک از #سرویس ها در یک محیط توزیع شده اشکال عمده ای تلقی می شود و نیازمند حجم عظیمی از #خودکار_سازی_فرآیندها به منظور #مدیریت_سرویس ها است.

💻 #پتلفرم #Cloudera به منظور حل این مشکلات و صرفه جویی در مصرف زمان، هزینه وحتی اعصاب 🙂 توزیع هدوپی اختصاصی را به منظور نصب سرویس های مدنظر و آپدیت کانفیگ کلاسترها ارائه کرده است که تنها با چند کلیک زیرساخت هدفمندی را به منظور تحلیل #بیگ_دیتا به ارمغان می آورد.

🌐 BigDataWorld.ir
🌐 @BigDataSchool

🔮 #پلتفرم #مهندسی و #تحلیل_داده #Cloudera به طور خاص بر حوزه #ماشین_لرنینگ و ساخت #انباره‌های_داده و بسترسازی برای #هوش_تجاری فعال ظاهر شده است. Cloudera شرکتی مستقر در ایالات متحده که در سال 2008 تاسیس شده است.
🏢 این شرکت یک #پلتفرم مبتنی بر #هدوپ ایجاد کرده است که با محبوب ترین نرم افزارهای #آپاچی #هدوپ به منظور تحلیل #بیگ_دیتا یکپارچه شده است. #هدوپ تنها یک نرم افزار یا پلتفرم نیست، #هدوپ یک اکوسیستم است که قلب تپنده پروژه های مهم تحلیل #بیگ_دیتا تلقی می شود.

🌐 BigDataWorld.ir
🌐 @BigDataSchool

💪💪💪 برای اولین بار در وب پارسی، #مدرسه_علم_بیگ_دیتا افتخار این را دارد تا #دوره_آموزشی_پروژه_محور #بیگ_دیتا بر بستر #پلتفرم قدرتمند #Cloudera را ارائه نماید.

🔹در این #دوره_آموزشی_پروژه_محور، کار با 8 ماژول کلیدی #علم_داده و #بیگ_دیتا را در پیش گرفته ایم که عبارتند از:

✔️ پلتفرم قدرتمند #Cloudera
✔️ چارچوب پردازشی #Spark
✔️ کتابخانه #SparkSQL
✔️ کتابخانه #SparkStreaming
✔️ دیتابیس #MongoDB
✔️ دیتابیس #Postgres
✔️ دیتابیس #AeroSpike
✔️ کتابخانه #Pandas
✔️ و چارچوب #Splunk

👌👌👌#تخفیف_فوق_العاده بر روی دوره اعمال شده است.

🔹🔸🔹 همانند دوره آموزشی پروژه محور بیگ دیتا با Hadoop و Spark که مدت آن از 4 ساعت به 10 ساعت افزایش یافت، درسنامه های جدید این دوره نیز بروزرسانی خواهند شد.

مشاهده سرفصل های دوره
🌐 BigDataWorld.ir
🌐 @BigDataSchool

کار با Postgres DB
#Postgres
#Data

تحلیل دیتای Twitter با MongoDB
#MongoDB
#Data