مهندسی داده ها – Telegram
مهندسی داده ها
7.49K subscribers
477 photos
17 videos
90 files
649 links
🔶 لینکدین
🔗 Linkedin.com/in/mohammadheydari/

🔶 اینستاگرام
🔗 Instagram.com/HeydariToday

🔶 ایکس
🔗 X.com/HeydariToday

یوتیوب
🔗 Youtube.com/@MohammadHeydari

🔶 مدرسه علم داده
🔗 https://bigdataworld.ir/

🔶آیدی من در تلگرام
🔗 @BigDataEngineer
Download Telegram
💎 سیر صعودی فوق العاده دیتابیس گرافی Neo4j از 2013 تا 2020
✔️ در آخرین رتبه بندی برترین دیتابیس های جهان، Neo4j در میان دیتابیس های گرافی در رتبه 1 قرار دارد.

#Neo4j
#Graph
#GraphDatabase

🌐 BigDataWorld.ir
🌐 @BigDataSchool
کوییز شماره 8

زبان اختصاصی کوئری نویسی در دیتابیس گرافی Neo4j کدام است؟ #quiz
Anonymous Quiz
35%
GraphQL
21%
SQL
6%
Gremlin
11%
Contextual Query Language (CQL)
9%
RDF query language (RDQL)
18%
Cypher
This media is not supported in your browser
VIEW IN TELEGRAM
📘 #یک_دقیقه_یادگیری
🔷 #ویدیوی_کوتاه شماره دو
💎 این قسمت: آشنایی با چارچوب پردازشی توزیع شده Apache Spark
🖥 لینک دوره آموزشی بیگ دیتا با Hadoop و Apache Spark در مدرسه بیگ دیتا
📖 لینک مقاله معرفی جامع و آشنایی کامل با Apache Spark در مدرسه بیگ دیتا
🕰 مدت زمان: یک دقیقه و پنجاه و شش ثانیه
📝 زبان: فارسی
📖 سطح: مقدماتی

#Spark #Apache

🌐 BigDataWorld.ir
🖥 @BigDataSchool
🔷 اگر در LinkedIn حضور دارید و فعال هستید می تونید صفحه مدرسه رو هم دنبال بفرمائید.

🌐 https://www.linkedin.com/mwlite/company/bigdataschool1
This media is not supported in your browser
VIEW IN TELEGRAM
📘 #یک_دقیقه_یادگیری
🔷 #ویدیوی_کوتاه شماره سه
💎 این قسمت: آشنایی با کتابخانه کلیدی تحلیل و پردازش گراف Python NetworkX
🖥 دوره آموزشی پروژه محور تحلیل و پردازش گراف با Python NetworkX
🕰 مدت زمان: یک دقیقه و پنجاه و یک ثانیه
📝 زبان: فارسی
📖 سطح: مقدماتی

#Python
#NetworkX
#DataScience
#BigData
#Graph

🌐 BigDataWorld.ir
🖥 @BigDataSchool
📣 سخنرانی #داده_محور

🏛 دانشکده مهندسی کامپیوتر، دانشگاه صنعتی شریف

📖 Design and Implementation of Privacy-Preserving Personalized Analytics Systems on the Edge

👨‍💻 By Professor Hamed Haddadi

🌐BigDataWorld.ir
🖥@BigDataSchool
📑 مفهوم کلان‌داده‌

در مدل‌های داده‌ای سنتی، بیشتر داده‌هایی که در سازمان‌ها وجود داشتند شامل مواردی مثل نام محصولات، مشتریان، فروشندگان و مواردی مشابه بود که پيچيدگي خاصي نداشتند. امروزه با نوع داده‌اي بسيار زياد، مختلف، و با پيچيدگي بسيار بيشتر سروکار داريم که مديريت، سازمان‌دهي، و نگهداري آن‌ها مساله مهمي است.

📘 طبق آمار، ۹۰ درصد داده‌های موجود در جهان تنها در دو سال اخیر ایجاد شده‌اند. رشد داده‌ها در سال ۲۰۰۹ چیزی در حدود ۰.۸ زتابایت (۰.۸ ZB) بوده است که پیش‌بینی مي‌شود اين مقدار در سال ۲۰۲۰ به ۳۲ ZB افزايش يابد.

☑️ رشد داده‌ها همچنان مانند گذشته وجود دارد ولی رشد آن‌ها امروزه بسیار سریعتر شده است.

☑️ امروزه رشد داده‌ها به طور چشمگیری در زمینه‌ی داده‌های غیر ساخت یافته صورت می‌گیرد.

امروزه کلان‌داده‌ توسط منابع مختلفی مانند دستگاه‌های موبایل، GPS، RFID، شبکه‌های اجتماعی، مشتریان و بسیاری از منابع دیگر توليد مي‌شود.

🔰 تعریف کلان‌داده

برای کلان‌داده‌ها تعاریف متعددی ارائه شده است که در زیر به چند مورد از آن‌ها اشاره می‌شود:

☑️ به طور عمومی کلان‌داده عبارت است از مجموعه داده‌هایی که به روش‌های سنتی موجود در فناوری اطلاعات، نرم‌افزارها و سخت‌افزار و در یک زمان قابل قبول قادر به جمع‌آوری، درک، و مدیريت نباشند.

☑️ تعریف Apache Hadoop در سال ۲۰۱۰ برای کلان‌داده: کلان‌داده عبارت است از مجموعه داده‌هایی که باتوجه به کامپیوترهای موجود براحتی قابل جمع‌آوری، مدیريت، و پردازش نباشند.

برای کلان‌داده‌ها یکسری چالش و فرصت معرفی شده که به صورت مدل ۳V بیان می‌شود و شامل افزایش حجم، شتاب، و تنوع می‌باشد.

۱. حجم (Volume): با تولید و جمع‌آوری داده‌ها در نهایت به انبوهی از داده‌ها دست می‌یابیم که گستره‌ی آن‌ها بسیار زياد است.

۲. شتاب (Velocity): داده‌ها با سرعت زیادی تولید می‌شوند و نیاز به تحلیل سریع و به موقع است.

۳. تنوع (Variety): به معنی وجود انواع مختلف داده‌ها است که خود شامل داده‌های ساخت یافته، نیمه ساخت یافته و غیرساخت یافته است مانند ویدئو، صوت، متن، و صفحات وب.

📽 چرخه‌ی حیات کلان‌داده

چرخه‌ی حیات کلان‌داده را می‌توان یک حلقه از چهار عملیات زیر در نظر گرفت:

۱. جمع‌آوری (Collection): شامل جمع‌آوری داده‌های مناسب از مجموعه‌ی داده‌ای مناسب است. برای مثال جمع‌آوری داده‌ها می‌توانند از یک شبکه‌ي اجتماعي يا شبکه‌هاي حسگر بي‌سيم باشند.

۲. یکپارچه‌سازی (Integrate): داده‌های جمع‌آوری شده با یکدیگر یکپارچه و سازماندهی (Organize) می‌شوند. گاهي ممکن است مجبور شويم آن‌ها را با مجموعه‌ي داده‌اي خود منطبق کنيم.

۳. تحلیل (Analysis): در این بخش می‌توان تحلیل‌های ساده و یا تحلیل‌های پیشرفته‌ي آماري بر روي داده‌ها انجام داد.

۴. تصمیم‌گیری‌ها و اقدامات (Actions Decisions): بعد از جمع‌آوری، یکپارچه‌سازی، و تحلیل داده‌ها می‌توان آن‌ها را به مدیر تحويل داد و بر اساس اين داده‌ها مدير مي‌تواند اقدامات لازم و مفيد را اجرا کند. براي مثال اگر شما يک کتاب در زمينه‌ي علوم کامپيوتر از آمازون خريداري کنيد، ممکن است به شما پيشنهاد خريد کتابي در زمينه‌ي کلان‌داده نيز ارائه شود.

امکاناتی مثل تحلیل داده‌ها به تحلیلگران کمک می‌کنند تا با کلان‌داده‌ها براحتی کار کنند.

نوشته ای از دکتر مجید آراسته

🌐BigDataWorld.ir
🖥@BigDataSchool
#بورس #تحصیلی کشور مالزی جهت ادامه تحصیل در مقاطع کارشناسی ارشد و دکتری

🌐BigDataWorld.ir
🖥@BigDataSchool
💎 💎 💎 جشنواره تابستانه مدرسه بیگ دیتا

🎁🎁🎁 تخفیف ویژه دوره های آموزشی آنلاین



🌐BigDataWorld.ir
🖥@BigDataSchool
💻@BigData_School