🌻 تابستان‌نامه

ماحصل بیستمین فصل از فعالیت‌های گروه تحلیلگری عظیم‌داده و کسب‌وکار، (تابستان 1401) در پست بعد قابل دریافت می‌باشد.

#فصلنامه_الکترونیک
#تابستان‌نامه

www.bdbanalytics.ir
@BigData_BusinessAnalytics

فایل بیستمین شماره فصلنامه گروه "تحلیلگری عظیم‌داده و کسب‌وکار"

#فصلنامه_الکترونیک
#تابستان‌نامه

www.bdbanalytics.ir
@BigData_BusinessAnalytics

📌📌معرفی ابزار Talend : ابزاری برای یکپارچه سازی داده


🖋این ابزار یک ابزار ETL برای یکپارچه سازی داده ها است. راه حل های نرم افزاری برای آماده سازی داده ها، کیفیت داده ها، یکپارچه سازی داده ها، یکپارچه سازی برنامه ها، مدیریت داده ها و داده های بزرگ ارائه می دهد. Talend برای همه این راه حل ها محصول جداگانه ای دارد. رویکرد منحصر به فرد Talend یکپارچه سازی داده ها را ساده می کند، نیازهای متخصصان داده و کاربران تجاری را با ابزارهای سلف سرویس و کیفیت داده که در هر مرحله تعبیه شده است، برآورده می کند.

یکپارچه سازی داده ها مزایای بسیاری را ارائه می دهد که در زیر توضیح داده شده است :
📍بهبود همکاری بین تیم های مختلف در سازمان که سعی در دسترسی به داده های سازمان دارند.
📍در زمان صرفه جویی می کند و تجزیه و تحلیل داده ها را آسان می کند، زیرا داده ها به طور مؤثر یکپارچه می شوند.
📍 فرآیند یکپارچه سازی خودکار داده ها، داده ها را همگام سازی می کند و گزارش های زمان واقعی و دوره ای را آسان می کند، که در غیر این صورت اگر به صورت دستی انجام شود زمان بر است.
📍 داده هایی که از چندین منبع ادغام شده اند با گذشت زمان بالغ می شوند و بهبود می یابند که در نهایت به کیفیت بهتر داده ها کمک می کند.

✅ متن کامل یادداشت را در لینک زیر بخوانید:
🔗https://b2n.ir/j31234

#معرفی_ابزار
#یکپارچه_سازی_داده
#فاطمه_مصلحی
#Talend

www.bdbanalytics.ir
@BigData_BusinessAnalytics

📚 فایل ترجمه خلاصه کتاب "تحلیل عظیم‌داده، سیستم‌ها، الگوریتم‌ها و کاربردها"
"Big Data Analytics: Systems, Algorithms, Applications"

📌 ضمن تشکر بابت همراهی شما با کانال گروه تحلیلگری عظیم داده، فایل کتاب "تحلیل عظیم‌داده، سیستم‌ها، الگوریتم‌ها و کاربردها" در قالب یک فایل جمع‌آوری شده است.

برای دریافت این فایل می‌توانید نسبت به تکمیل فرم زیر اقدام نمایید.

🔗 https://goo.gl/forms/4v4YGrI4x5RX5gnC3

لازم به ذکر است افرادی که برای فایلهای قبلی فرم را تکمیل کرده‌اند، نیازی به تکمیل فرم ندارند.

#تحلیل_عظیم‌داده_سیستم‌ها_الگوریتم‌ها_و_کاربردها



@BigData_BusinessAnalytics
www.bdbanalytics.ir

🔎کاربرد داده محوری در تصمیم گیری برای کسب و کار


💡مطالعه موردی: وبسایت Booking

♦️یک شرکت در دوراهی‌هایی که قرار می‌گیرد چگونه باید تصمیم گیری کند تا ریسک انتخاب خود را به حداقل برساند؟ در اینجا ما با هم به بررسی booking می‌پردازیم که چگونه با استفاده از داده تصمیمات خود را به بهترین نحو ممکن اخذ می‌کند و کسب و کار خود را نه بر اساس صرفا نظر مدیران بلکه با رفتار کاربر طراحی می‌کند

♦️اگر شما نیز به در کسب و کار خود برای تصمیم‌گیری و کاهش ریسک تصمیمات دچار تردید و ابهام هستید به شما پیشنهاد می‌کنم با ما همراه باشید...

🔗 https://b2n.ir/y64178

#محمدرضا_مرادی
#مورد_کاوی
#کسب_و_کار_داده_محور
#بوکینگ
#Booking
#بهینه_سازی


@BigData_BusinessAnalytics
www.bdbanalytics.ir

📌معرفی مقالات داغ حوزه عظیم داده­‌ها

❇️نام مقاله: تجزیه و تحلیل داده‌های عظیم برای سیستم­‌های تولید هوشمند

🖋نویسندگان مقاله:
Junliang Wang , Chuqiao Xu , Jie Zhang , Ray Zhong

📔ژورنال: Journal of Manufacturing Systems

🗓تاریخ انتشار: January 2022


🔹با توسعه اینترنت اشیا (IoT)، 5G و فناوری‌های رایانش ابری، میزان داده‌های سیستم‌های تولیدی به سرعت در حال افزایش است. با تولید داده‌های صنعتی عظیم، دستاوردهایی فراتر از انتظارات در طراحی، ساخت و نگهداری محصول حاصل شده است. در واقع در تولید هوشمند، استفاده از داده­‌های عظیم صنعتی نه‌تنها شرکت­‌ها را به درک دقیق تغییرات محیط داخلی و خارجی در سیستم ارتقا می­‌دهد، بلکه تجزیه و تحلیل علمی و تصمیم­‌گیری برای بهینه ‌سازی فرآیند تولید، کاهش هزینه­‌ها و بهبود کارایی عملیاتی را تسهیل می­‌کند.
می­‌توان گفت تجزیه و تحلیل داده­‌های عظیم (BDA) یک فناوری اصلی برای تقویت سیستم­‌های تولید هوشمند به حساب می­‌آید.

🔹به منظور گزارش کامل نقش BDA در بهینه­‌سازی سیستم‌های تولید هوشمند، این مقاله با استفاده از روش تحقیق مرور کتابخانه‌ای، به تجزیه و تحلیل مطالعات انجام شده از سال 2011 تا 2020 در رابطه با تولید هوشمند مبتنی بر داده­‌های عظیم، از پایگاه داده Web of Science می­‌پردازد.

🔹در این مرور جامع موضوعات مرتبط مانند مفهوم داده‌های عظیم، روش‌های مبتنی بر مدل و داده‌محور، چارچوب تولید هوشمند مبتنی بر داده­‌های عظیم، روش­‌های توسعه، انواع فناوری‌های کلیدی پردازش(محاسبات توزیعی، محاسبات لبه- ابر، پردازش دسته­‌ای، پردازش جریان، پردازش ترکیبی دسته‌ای و جریان) مورد بحث و بررسی قرار می­‌گیرند.

🔹🔹همچنین یکی از نکات قوت این مقاله بررسی کاربردهای BDA برای هر یک از فازهای مطرح در سیستم‌های تولید هوشمند اعم از طراحی محصول، برنامه­‌ریزی و زمان­بندی، مدیریت کیفیت و مدیریت سلامت فرآیندها و کشف ناهنجاری­‌های احتمالی در آنها است که می‌تواند راهنمای خوبی برای نحوه پیاده‌سازی تحلیل­‌گری عظیم داده‌ها در سیستم‌های تولید باشد.

🔹در پایان نیز این مقاله به بررسی چالش‌ها و فرصت‌ها برای تحقیقات آینده در این خصوص پرداخته که از طریق این کار ایده‌های جدیدی برای تحقق BDA برای سیستم‌های تولید هوشمند ارائه می شود.

👈درصورت تمایل، می‌توانید مقاله مذکور را در پست بعد دريافت و مطالعه نماييد.



#معرفی_مقاله
#تحلیل_عظیم_داده
#صبا_بزرگی

www.bdbanalytics.ir
@BigData_BusinessAnalytics

#معرفی_مقاله
#تحلیل_عظیم_داده
#صبا_بزرگی

www.bdbanalytics.ir
@BigData_BusinessAnalytics

‍ ‍ 📚 معرفی کتاب

📌 پردازش زبان طبیعی با Spark NLP
"Natural Language Processing with Spark NLP: Learning to Understand Text at Scale”


📌 نویسنده: Alex Thomas
📌 این کتاب در سال 2020 و توسط انتشارات O'Reilly منتشر شده است.

📍این کتاب درباره به کارگیری Spark NLP برای ایجاد اپلیکیشن‌های پردازش زبان طبیعی (NLP) می‌باشد. Spark NLP یک کتابخانه NLP است که بر روی آپاچی اسپارک ساخته شده است. در این کتاب چگونگی به کارگیری Spark NLP و همچنین مبانی پردازش زبان طبیعی پوشش داده می‌شود. با مطالعه این کتاب یک ابزار نرم افزاری جدید برای کار با زبان طبیعی و Spark NLP را در اختیار خواهید داشت و همچنین با مجموعه‌ای از تکنیک‌ها و چگونگی کارکرد آنها در این حوزه آشنا می‌شوید.

📍در بخش اول کتاب فناوری‌ها و تکنیک‌هاي مورد نیاز جهت به کارگیری در Spark NLP نظیر مبانی زبان طبیعی، NLP بر روی آپاچی اسپارک و مبانی یادگیری عمیق معرفی شده‌اند. سپس در بخش دوم در مورد بلوک‌های سازنده NLP از جمله پردازش کلمات، بازیابی اطلاعات، دسته بندی و رگرسیون، مدلسازی توالی با Keras، استخراج اطلاعات، تاپیک مدلینگ و word embeddings بحث شده است. در نهایت در بخش سوم و چهارم کتاب به اپلیکیشن‌ها و سیستم‌های پردازش زبان طبیعی پرداخته شده است که شامل تحلیل احساسات و تشخیص احساس، ایجاد پایگاه‌های دانشی، موتور جستجو، چت بات، بازشناسی ویژگی آبجکت، پشتیبانی از چندین زبان، برچسب زدن توسط انسان، و تولید اپلیکیشن‌های NLP می‌باشد.

📍کار بر روی یک اپلیکیشنی که نیازمند پردازش زبان طبیعی است، توأم با سه رویکرد توسعه دهنده نرم افزار، زبان شناس، و دانشمند داده می‌باشد. رویکرد توسعه نرم افزار بر آنچه که اپلیکیشن باید انجام دهد تمرکز دارد و مبتنی بر محصولی است که می‌خواهیم ایجاد نماییم. رویکرد زبان شناسی بر آنچه که می‌خواهیم از داده‌ها استخراج کنیم متمرکز است و در نهایت رویکرد دانشمند داده بر چگونگی استخراج اطلاعات مورد نیاز ار داده‌ها تمرکز دارد.

📍در این کتاب علاوه بر Spark NLP، آپاچی اسپارک، و تنسورفلو، از سایر ابزار نظیر پایتون، آناکوندا، ژوپیتر نوت‌بوک و داکر نیز استفاده شده است و در هر بخش کدهای مربوطه ارائه شده است.



این کتاب را می‌توانید در پست بعد دریافت نمایید.


#معرفی_کتاب
#پردازش_زبان_طبیعی
#اسپارک
#Spark_NLP
#فاطمه_مظفری


@BigData_BusinessAnalytics
www.bdbanalytics.ir

📌📌 تحلیل‌گر عظیم‌داده

با توجه به دغدغه برخی از دانشجویان و دانش‌آموختگان دانشگاهی جهت ورود به بازار کار حوزه عظیم داده و رسیدن به تخصص بیشتر جهت تبدیل شدن به یک تحلیل گر عظیم‌داده توصیه می‌شود تا برای قرار گرفتن در مسیر شغلی مذکور فرآیند زیر را دنبال نمایند.

1. شرکت در دوره‌های آموزشی مرتبط با حوزه تحلیل‌گری عظیم‌داده با هدف دستیابی به درک کامل از موضوعات
2. مطالعه کتاب‌های مرجع مانند کتاب‌های تخصصی انتشارات‌ O'reilly و Packt
3. نصب و راه‌اندازی پلتفرم‌های مطرح عظیم‌داده مانند آپاچی هدوپ
4. آشنایی با پایگاه داده‌های Nosql
5. انتخاب زبان برنامه نویسی مناسب مانند پایتون، جاوا، اسکالا که از پرکاربردترین زبان‌های برنامه‌نویسی در حوزه عظیم‌داده هستند.

🔹 در این ویدئو به زبان ساده با شغل تحلیل‌گر عظیم‌داده آشنا می‌شویم.


#ويدئو
#عظیم_داده
#تحلیلگری_داده
#آرش_قاضی_سعیدی

@BigData_BusinessAnalytics
www.bdbanalytics.ir

📌مروری بر نحوه استفاده کمپانی H&M از عظیم داده‌ها در جهت بهبود کسب و کار

🖋یکی از حوزه­‌هایی که هوش مصنوعی تاثیر شگرفی بر روند کار آن داشته، حوزه خرده فروشان مد و پوشاک است. فعالان این بازار بطور فزاینده‌ای به هوش مصنوعی روی آورده‌اند تا بتوانند در برآورده‌سازی خواسته‌های مشتریان خود موفق عمل کرده و همچنان در عصر دیجیتال رقابتی باقی مانند.
در همین راستا نگاهی خواهیم داشت به عملکرد یکی از محبوب‌ترین برندهای این حوزه، گروه H&M، و خواهیم دید این کمپانی سوئدی چگونه از عظیم داده‌ها و هوش مصنوعی جهت ارائه خدمات به مشتریان خود استفاده می‌کند.

✳️هدف H&M از بهره‌گیری از عظیم داده‌ها، تحلیل دقیق خواسته‌های مشتریان است تا آنجا که بجای ذخیره‌سازی فروشگاه‌های سراسر دنیا با کالاهای مشابه، با استفاده از بینش حاصل از تحلیل عظیم داده‌ها، به سفارشی‌سازی محلی آنچه در فروشگاه‌ها می‌فروشد بپردازد.

✅در این کمپانی بیش از 200 دانشمند داده برای درک الگوها و روند خرید مشتریان مشغول به کار هستند. این تیم الگوریتم‌هایی برای تجزیه و تحلیل رسیدهای فروشگاهی و داده‌های کارتهای وفاداری ایجاد کرده‌اند تا خواسته‌های مشتریان را بهتر درک کنند. علاوه بر این، برای جمع‌آوری داده‌های بیشتر از پست‌های وبلاگها و نیز جستجوهای انجام شده در موتورهای جستجو استفاده می‌شود.

✳️به عنوان مثال، در یکی از فروشگاه‌های H&M در استکهلم وقتی از الگوریتم‌های هوش مصنوعی برای مطالعه ترجیحات مشتریان استفاده شد، نتایج نشان داده که خریداران کالا از این فروشگاه بیشتر خانم بوده و بیشتر خریدها متمرکز بر مد مثل دامن‌های گلدار بوده است. همچنین نتایج نشان داد در این فروشگاه خرید کالاهایی با قیمت بالا ترجیح داده می‌شود. لذا اکنون در این فروشگاه کیف‌های چرمی 118 دلاری و ژاکت‌های کشمیر 107 دلاری در کنار تی‌شرت‌های معمولی 6 دلاری به فروش می‌رسد. از دیگر نتایج تحلیل این بود که این فروشگاه به مجموعه خود یک کافی شاپ اضافه کرد و فروش گل را نیز در سبد خدمات خود قرار داد چراکه خروجی تحلیل‌ها حاکی از این بود که مشتریان در طول تجربه خرید خود به این خدمات تمایل دارند.
✅در واقع H&M بجای تصمیم‌گیری مبتنی بر شهود مدیران، رو به استفاده از الگوریتم‌هایی آورد که بطور مداوم با رفتار و انتظارات مشتریان تنظیم می‌شوند. H&M معتقد است استفاده از عظیم داده‌ها به آنها قدرتی می‌دهد تا دقیق‌تر و مرتبط‌تر به مشتریان خود به ارائه سرویس بپردازند.
✳️راهکارهایی که به لطف الگوریتم‌ها و هوش مصنوعی در H&M بکار گرفته می شوند عبارتند از:
⏺پیش بینی تقاضای بازار: خرده‌فروشان حوزه مد و پوشاک مانند H&M به محصولات تازه با قیمت‌های رقابتی متکی هستند. بینش حاصل از تحلیل داده‌ها به H&M کمک می‌کند تا آنچه را که بازار می‌خواهد پیش‌بینی کند و مجبور نباشد موجودی خود را برای فروش به تخفیف گذارد.
⏺نگهداری اقلام محبوب: بوسیله الگوریتم‌ها و تحلیل روند خریدهای هر فروشگاه، H&M می‌داند که کدام اقلام را در کجا و به چه صورت تبلیغ کند و به فروش رساند.
⏺انبارهای خودکار: گروه H&M روی انبارهای خودکار و تحویل سریع، که در اکثر بازارهای اروپایی یک روزه است، سرمایه گذاری کرده و این امر منحصر به مشتریان وفادار بوده که تحلیل و شناسایی آنها توسط الگوریتم‌ها انجام می‌شود.

👈حال نگاهی خواهیم داشت به زیرساخت فنی پشتیبان این تحلیل‌ها.
✅همانطور که گفته شد اتکاء اصلی H&M بر داده‌ها بعنوان هسته مرکزی کار بوده و از طرفی باز شدن سریع فروشگاه‌ها در سطح جهان، نیاز به بهبود زنجیره تامین را افزایش می‌دهد.
❇️در این شرایط سیستم Hadoop داخلی H&M ناتوان از تجزیه و تحلیل داده‌های تولید شده توسط میلیون‌ها مشتری بوده، لذا این شرکت به سمت‌ پلتفرم Databricks مهاجرت کرده است.
❇️این پلتفرم با ایجاد محیطی مقیاس پذیر و مشارکتی به مهندسان و دانشمندان داده اجازه می‌دهد تا مدل‌ها را به سرعت با هدف تسریع زنجیره تامین آموزش داده و عملیاتی کنند.
❇️یکپارچگی پلتفرم Databricks با Azure و سایر تکنولوژی‌ها مانند Apache Airflow و Kubernetes اجازه می‌دهد تا مدل‌ها در مقیاس عظیم آموزش ببینند.

👈بطور کلی در H&M حتی 0.1 درصد بهبود در دقت مدل، تاثیر شگرفی بر کسب و کار دارد. این کمپانی با بکارگیری Databricks داده‌ها را برای تصمیم گیرندگان قابل دسترس‌تر کرده و این امر باعث رشد سریع کسب و کار می‌شود.

👈 در مجموع Databricks با بهبود کارایی عملیاتی، بهبود تعاملات و همکاری‌های بین‌تیمی و تاثیرات شگرف بر کسب‌و‌کار با استفاده از بینش حاصل از تحلیل داده‌ها، باعث هوشمندسازی تصمیم‌گیری و نیز صرفه‌جویی چشم‌گیر 70 درصدی در هزینه‌های H&M شده است.


#نمونه_موردی
#عظیم_داده
#اچاندام
#صبا_بزرگی
www.bdbanalytics.ir
@BigData_BisinessAnalytics

📌📌معرفی ابزار HPCC: یک پلتفرم قدرتمند و منبع باز تجزیه و تحلیل عظیم داده

✅ پلتفرم HPCC (High-Performance Computing Cluster) یک پلتفرم سیستم محاسباتی منبع باز است که توسط LexisNexis Risk Solutions توسعه یافته است. پلت فرم HPCC که با نام DAS (Data Analytics Super Computer) نیز شناخته می شود، دارای یک معماری نرم افزاری است که بر روی خوشه های محاسباتی پیاده سازی شده است تا پردازش موازی داده با کارایی بالا را برای برنامه های کاربردی با استفاده از داده های بزرگ ارائه دهد. پلتفرم HPCC شامل پیکربندی‌های سیستمی برای پشتیبانی از پردازش داده‌های دسته‌ای موازی (Thor) و برنامه‌های درخواست آنلاین با کارایی بالا با استفاده از فایل‌های داده فهرست‌شده (Roxie) است. پلتفرم HPCC همچنین شامل یک زبان برنامه نویسی اعلامی داده محور برای پردازش داده های موازی به نام (ECL) Enterprise Control Language است.
انتشار عمومی HPCC در سال 2011 پس از ده سال توسعه داخلی (طبق گفته LexisNexis) اعلام شد. این پلتفرم یک جایگزین برای Hadoop و دیگر پلتفرم‌های Big Data است.
✅ پلتفرمHPCC هر دو نسخه Community و Enterprise Edition را ارائه می‌دهد. نسخه Community برای دانلود رایگان است، شامل کد منبع است و تحت مجوز آپاچی 2.0 منتشر شده است. نسخه Enterprise تحت مجوز تجاری در دسترس است و شامل آموزش، پشتیبانی، غرامت و ماژول های اضافی است.
دو خوشه یکپارچه، یک زبان برنامه نویسی اعلامی، و یک پلت فرم خدمات وب مبتنی بر استانداردها، اساس این راه حل کلان داده جامع و بسیار مقیاس پذیر را تشکیل می دهند.
✅ ویژگی های کلیدی:
🔹 عملکرد سریع
🔹 استقرار و استفاده آسان
🔹 مقیاس از داده های کوچک تا بزرگ
🔹 داشتن API غنی برای آماده سازی داده ها، یکپارچه سازی، بررسی کیفیت، بررسی تکراری و غیره.
🔹 الگوریتم های یادگیری ماشینی موازی برای داده های توزیع شده
🔹 جستجو و جستجوی بلادرنگ با پشتیبانی از SQL، JSON، SOAP و XML
🔹 پشتیبانی رایگان از طریق مستندات دقیق، آموزش های ویدئویی، انجمن ها و تماس مستقیم.
✅ معماری سیستم HPCC
معماری سیستم HPCC شامل دو محیط پردازش خوشه‌ای متمایز Thor و Roxie است که هر یک می‌توانند به طور مستقل برای هدف پردازش داده‌های موازی خود بهینه شوند.
✅اولین مورد از این پلتفرم ها Thor نام دارد، یک پالایشگاه داده که هدف کلی آن پردازش کلی حجم عظیمی از داده های خام از هر نوع برای هر منظوری است، اما معمولاً برای پاکسازی و بهداشت داده ها، پردازش ETL (استخراج، تبدیل، بارگذاری) استفاده می شود. داده‌های خام، پیوند رکورد و تفکیک موجودیت، تجزیه و تحلیل پیچیده ad hoc در مقیاس بزرگ، و ایجاد داده‌ها و فهرست‌های کلیدی برای پشتیبانی از پرس و جوهای ساختاریافته و برنامه‌های انبار داده با کارایی بالا. نام پالایشگاه داده Thor اشاره ای به خدای اسطوره ای اسکاندیناوی تندر با چکش بزرگ نماد خرد کردن مقادیر زیادی داده خام به اطلاعات مفید است. خوشه Thor از نظر عملکرد، محیط اجرا، سیستم فایل و قابلیت‌هایش مشابه پلتفرم‌های Google وHadoop MapReduce است.
خوشه پردازش فیزیکی Thor است که به عنوان یک موتور اجرای کار دسته ای برای برنامه های محاسباتی فشرده داده مقیاس پذیر عمل می کند. علاوه بر گره‌های اصلی Thor و Slave، اجزای کمکی و مشترک اضافی برای پیاده‌سازی یک محیط پردازش کامل HPCC مورد نیاز است.
✅دومین پلت فرم پردازش داده موازی Roxie نام دارد و به عنوان یک موتور تحویل سریع داده عمل می کند. این پلتفرم به عنوان یک پلتفرم پرس و جو و تجزیه و تحلیل ساختاریافته آنلاین با کارایی بالا یا انبار داده طراحی شده است که نیازمندی های پردازش دسترسی موازی به داده های برنامه های کاربردی آنلاین را از طریق رابط های خدمات وب ارائه می کند که از هزاران پرس و جو و کاربر همزمان با زمان پاسخ دهی زیر ثانیه پشتیبانی می‌کند. Roxie از یک سیستم فایل نمایه شده توزیع شده برای ارائه پردازش موازی پرس و جوها با استفاده از یک محیط اجرای بهینه و سیستم فایل برای پردازش آنلاین با کارایی بالا استفاده می کند. یک خوشه Roxie از نظر عملکرد و قابلیت‌هایش شبیه به ElasticSearch و Hadoop با قابلیت‌های HBase و Hive اضافه شده است و تأخیرهای جستجوی قابل پیش‌بینی تقریباً زمان واقعی را فراهم می‌کند. هر دو خوشه Thor و Roxie از زبان برنامه نویسی ECL برای پیاده سازی برنامه ها، افزایش تداوم و بهره وری برنامه نویس استفاده می کنند.
یک خوشه پردازش فیزیکی Roxie است که به عنوان یک موتور اجرای پرس و جو آنلاین برای برنامه های کاربردی پرس و جو و انبار داده با کارایی بالا عمل می کند. یک خوشه Roxie شامل چندین گره با فرآیندهای master و slave برای پردازش پرس و جوها است.

یک جزء کمکی اضافی به نام سرور ESP که رابط هایی را برای دسترسی مشتری خارجی به خوشه فراهم می‌کند. و اجزای مشترک اضافی که با یک خوشه Thor در یک محیط HPCC مشترک هستند. اگرچه یک خوشه پردازشی Thor را می توان بدون خوشه Roxie پیاده سازی و استفاده کرد، یک محیط HPCC که شامل یک خوشه Roxie است نیز باید شامل یک خوشه Thor باشد. خوشه Thor برای ساخت فایل های فهرست توزیع شده مورد استفاده توسط خوشه Roxie و توسعه پرس و جوهای آنلاین که با فایل های فهرست در خوشه Roxie مستقر خواهند شد استفاده می شود.

مشخصات پلتفرم:
🔹موتور ETL (Thor)
با استفاده از یک زبان برنامه نویسی قدرتمند (ECL) که به طور خاص برای کار با داده ها توسعه یافته است، داده ها ورودی را تبدیل و بارگذاری می کند.
🔹موتور جستجو (ROXIE)
یک موتور جستجوی مبتنی بر شاخص برای انجام پرس و جوهای بلادرنگ. SOAP، XML، REST و SQL همگی اینترفیس های پشتیبانی شده هستند.
🔹 ابزارهای مدیریت داده
پروفایل سازی داده ها، پاکسازی داده‌ها، به روز رسانی‌ها، زمان بندی کار و اتوماسیون برخی از ویژگی‌های کلیدی هستند.
🔹 ابزارهای مدل سازی پیش بینی کننده
مدل سازی پیش بینی برای انجام رگرسیون خطی، رگرسیون لجستیک، درختان تصمیم، و جنگل های تصادفی.
#معرفی_ابزار
#ابزار_HPCC
#تحلیلگری_عظیم_داده
#فاطمه_مصلحی

www.bdbanalytics.ir
@BigData_BusinessAnalytics

📚 معرفی کتاب

📌 داده‌های عظیم برای تصمیمات بزرگ: ایجاد یک سازمان داده محور

"Big Data for Big Decisions: Building a Data-Driven Organization”


📌 نویسنده: Krishna Pera
📌 این کتاب در سال 2023 و توسط CRC Press انتشار یافته است.

📍ایجاد یک سازمان داده محور (data-driven organization)، ابتکاری در سطح سازمانی است که می‌تواند منابع را برای مدت طولانی مصرف نماید. بنابراین هر سازمانی که به دنبال چنین ابتکاری است، بر اساس نقشه راه و مورد کسب و کاری که باید قبل از تصویب تهیه و ارزیابی شود، اصرار دارد. این کتاب یک متدولوژی گام به گام به منظور ایجاد نقشه راه و مورد کسب و کاری ارائه می‌دهد و روایتی از محدودیت‌ها و تجربیات مدیرانی است که برای راه اندازی سازمان‌های داده محور تلاش کرده‌اند. در این کتاب تأکید بر تصمیمات بزرگ است یعنی تصمیمات کلیدی که بر 90 درصد نتایج کسب و کار تأثیر می‌گذارند. این تصمیمات از ابتدا تصمیم‌گیری و مهندسی مجدد داده‌ها تا فرآیند-زنجیره تصمیم‌گیری و حاکمیت داده‌ها، به طوری که اطمینان حاصل شود که داده‌های درست همواره در زمان مناسب در دسترس هستند.

📍سرمایه گذاری در هوش مصنوعی و تصمیم گیری داده محور در حال حاضر به عنوان یک ضرورت بقا برای سازمان‌ها در نظر گرفته می‌شود تا بتوانند رقابتی باقی بمانند. در حالی که هر شرکتی آرزو دارد 100% داده محور شود و هر مدیر ارشد اطلاعات (CIO) بودجه ای دارد، گارتنر تخمین می زند که بیش از 80٪ از تمام پروژه های تحلیل‌گری در ارائه ارزش مورد نظر ناکام هستند. در این راستا این کتاب متدولوژی برای اطمینان از موفقیت در استخراج ارزش مورد نظر از سرمایه گذاری در تحلیل‌گری ارائه می‌دهد و راهنمایی برای ایجاد یک نقشه راه تحول گام به گام است که داده‌های عظیم را برای تصمیم‌های بزرگ، 10 درصد تصمیم‌هایی که بر 90 درصد نتایج کسب‌وکار تأثیر می‌گذارند، اولویت‌بندی می‌کند، و همچنین بهبودهای اساسی در کیفیت تصمیم‌ها و ارزش قابل اندازه گیری از سرمایه گذاری‌های تحلیلگری ارائه می‌نماید.

📍علاوه بر این، به برخی از موضوعات مهم که تاکنون در چارچوب سازمان داده محور پرداخته نشده است، مانند «اولویت‌بندی تصمیم‌گیری»، مفهوم «شناخته‌ها و ناشناخته‌ها» و ... در این کتاب پرداخته می‌شود. ارائه نقشه راه برای تحلیل‌گری، استراتژی فناوری اطلاعات داده محور، ایجاد استراتژی داده، ایجاد استراتژی بازاریابی داده محور و حکمرانی داده یکپارچه از دیگر موضوعات مورد بررسی در این کتاب است.



این کتاب را می‌توانید در پست بعد دریافت نمایید.


#معرفی_کتاب
#سازمان_داده_محور
#تصمیم‌گیری
#عظیم_داده

#فاطمه_مظفری


@BigData_BusinessAnalytics
www.bdbanalytics.ir

📌معرفی مقالات داغ حوزه عظیم داده‌ها

❇️نام مقاله: تجزیه و تحلیل احساسات چندوجهی: بررسی سیستماتیک تاریخچه، دیتاست­‌ها، روش‌های همجوشی چندوجهی، کاربردها، چالش­‌ها و جهت گیری­‌های آینده

🗓سال انتشار: 2022

📔ژورنال: Information Fusion

🖋نویسندگان:
Ankita Gandhi, Kinjal Adhvaryu, Soujanya Poria, Erik Cambria, Amir Hussain

🔹تحلیل احساسات (SA) در زمینه هوش مصنوعی (AI) و پردازش زبان طبیعی (NLP) جذابیت زیادی به دست آورده است. در همین راستا تقاضای فزاینده­‌ای برای تجزیه و تحلیل خودکار احساسات کاربر نسبت به محصولات یا خدمات وجود دارد. نظرات افراد نیز به طور گسترده­‌ای به صورت آنلاین در قالب ویدئو به جای/ در کنار متن به اشتراک گذاشته می­‌شوند.

🔹این مساله باعث شده است که SA با استفاده از بکارگیری وجوه متعدد، که آنالیز احساسات چندوجهی (MSA) نامیده می‌شود، به یک حوزه تحقیقاتی مهم تبدیل شود. در واقع تجزیه و تحلیل احساسات چندوجهی (MSA) افکار، احساسات و عواطف افراد را از مشاهدات رفتارهای آنها استخراج می­‌کند و در اینجا سرنخ­‌های رفتاری می­‌تواند به صورت نوشته­‌های مستند، حالات چهره، گفتار، علائم فیزیولوژیکی و حرکات بدنی باشد.

🔹در تحلیل احساسات چندوجهی، روش‌های مختلفی برای یافتن حالات عاطفی از تعاملات استفاده می‌شود. متداول­‌ترین وجوه استفاده شده عبارتند از: متن، صوت و تصویر. هر یک از این وجوه به پیش­‌بینی بهتر احساسات کمک می­‌کند و ادبیات موضوع در این حوزه تاکید دارد که سیستم دو وجهی و سه وجهی نتیجه را در مقایسه با سیستم تک وجهی بهبود می­‌بخشد. در واقع هر وجه سهم مهمی در بهبود دقت دارد.

🔹تحلیل احساسات چندوجهی از آخرین پیشرفت­‌های یادگیری ماشین و یادگیری عمیق در مراحل مختلف از جمله برای استخراج ویژگی چندوجهی و همجوشی و تشخیص قطبیت احساسات، با هدف به حداقل رساندن میزان خطا و بهبود عملکرد استفاده می­‌کند .

🔹در این مقاله 10 دیتاست برتر ، که در زمینه MSA می­‌توان بکارگرفت ، همراه با مشخصات آنها معرفی شده است. همچنین در ادامه، مقاله به بررسی طبقه‌بندی اولیه و معماری‌های همجوشی چندوجهی تازه منتشر شده می‌پردازد.

🔹ادغام وجوه مختلف در مرکز تحلیل احساسات با استفاده از روش­‌های متعدد صورت می­‌گیرد. فیوژن یا همجوشی چندوجهی فرآیند فیلتر کردن، استخراج و ترکیب ویژگی­‌های مورد نیاز از داده­‌های دریافتی از منابع مختلف است. سپس این داده­‌ها به منظور استخراج نظرات و ارزیابی نگرش­‌های بیشتر تجزیه و تحلیل می­‌شوند.

🔹پیشرفت‌های اخیر در معماری‌های MSA به ده دسته تقسیم می‌شوند که عبارتند از همجوشی اولیه، همجوشی دیررس، همجوشی هیبریدی، همجوشی سطح مدل، همجوشی تانسوری، همجوشی سلسله مراتبی، همجوشی دو وجهی، همجوشی مبتنی بر توجه، همجوشی کوانتومی و همجوشی سطح کلمه. مقاله ضمن تشریح هریک از دسته­‌های مذکور، به بررسی چندین تحول معماری از نظر مقوله­‌های همجوشی MSA و نقاط قوت و محدودیت­‌های نسبی آنها می­‌پردازد.

🔹 در نهایت، نویسندگان به ارائه تعدادی از کاربردهای بین رشته­‌ای اعم از : شناسایی اقدامات چندوجهی و کشف تقلب، پیش‌بینی بازار برای سیستم معاملاتی، تحلیل احساسات در زمینه گردشگری، تحلیل احساسات پست­‌های اینستاگرام، تحلیل احساسات در توئیتر، تعاملات انسان و کامپیوتر، سیستم بهداشت و سلامت، سیستم آموزش، سیستم­‌های توصیه­‌گر و احساسات نسبت به هر موضوع جاری، می­‌پردازند.

🔹 در خاتمه نیز به بررسی چالش­‌های پیشروی MSA و نیز جهت­‌گیری­‌های تحقیقاتی آینده در این زمینه پرداخته­‌اند

👈درصورت تمایل می‌توانید فایل مقاله را👇👇👇 دانلود فرمایید.

#معرفی_مقاله
#تحلیل_عظیم_داده
#صبا_بزرگی

www.bdbanalytics.ir
@BigData_BusinessAnalytics

#معرفی_مقاله
#تحلیل_عظیم_داده
#صبا_بزرگی

www.bdbanalytics.ir
@BigData_BusinessAnalytics

📖 کتاب بخوانیم؛

📌 "Big Data for Big Decisions: Building a Data-Driven Organization"


🔸فصل اول "کتاب داده‌های عظیم برای تصمیمات بزرگ:ایجاد یک سازمان داده محور" به تعریف و ضرورت و چرایی حرکت یک سازمان به سمت تصمیمات داده محور می‌پردازد. اگر تصمیمات و اقدامات یک سازمان مبتنی بر بینش حاصل از تحلیل داده‌ها در زمان درست در اختیار افراد مناسب قرار گیرد؛ آنگاه می‌توان نام سازمان داده محور را به آن اطلاق کرد.
در این فصل به طور خلاصه اهمیت طراحی جریان تبدیل داده به تصمیم و ایجاد زنجیره عرضه و تقاضا داده شرح داده می‌شود.
بخش اول: قبل از سفر تحولی
قبل از شروع سفر تحولی برای یک سازمان داده محور، فهمیدن دقیق و درست هدف و ضرورت سازمان داده محور ضروری می باشد. اینکه چرا یک سازمان تصمیم گرفته است که به سمت داده محوری پیش برود. همچنین در این مرحله بررسی و ارزیابی وضع موجود مهم می‌باشد. بر این مبنا در این فصل طور کلی در این فصل مطالب زیر مورد بررسی قرار می‌گیرند:
🔹تعریف سازمان داده محور
داده‌های خام، بدون هیچ پردازشی، نمی‌توانند منجر به بینش و تصمیم سازی شوند. از این رو به منظور ارائه تصمیمات داده محور نیاز است تا مجموعه اقدامات آماده سازی و پردازشی صورت گیرد و سپس بر اساس اهداف سازمان و تحلیل نیز، شخصی سازی شود. در تمامی فصول این کتاب، یک سازمان داده محور به عنوان سازمان بینش محور تعریف می‌شود که تمام تصمیمات آن مبتنی بر تحلیل داده می‌باشد. زمانیکه تمام تصمیمات بر اساس بینش تولید شده از داده می‌باشد نیاز است تا در زمان درست در اختیار شخص درست قرار گیرد.
🔸طراحی جریان تبدیل داده به تصمیم.
طراحی و ایجاد جریانی منسجم برای تبدیل داده‌های خام موجود در یک سازمان به تصمیم، نیازمند درگیری و تلاش همه افراد در یک سازمان می‌باشد. در این مرحله نیاز است تا تمامی تصمیم گیرندگان و همچنین تصمیمات کلیدی سازمان لیست شود. در مرحله بعدی، می‌بایست تمامی نقاطی که در سازمان داده تولید می‌کنند؛ مشخص شود. همچنین تمامی مشخصه‌های اصلی شامل سرعت، حجم، تنوع داده نیز می‌بایست لحاظ شود تا در مراحل بعدی از رویکرد متناسب آن استفاده کرد.
✅ یکی از گام‌هایی که در مراحل اولیه سفر رفتن به سازمان داده محور مورد توجه قرار می‌گیرد، طراحی منشور و مستند داده با همکاری تمامی افراد سازمان می‌باشد. در این مستند داده، تمامی نکات مربوط به داده‌های یک سازمان از کلی ترین حالت تا جزئی ترین مشخص می‌شود. در مستند داده تمامی ستون‌های اطلاعاتی ، موجودیت‌ها، ارتباطات و نوع آن‌ها مشخص می‌شود. یکی از نکات مهم در مورد داده‌های یک سازمان، مشخص کردن زنجیره عرضه و تقاضای داده‌ها بر اساس فرآیندهای سازمان می‌باشد. زمانیکه نحوه تولید و استفاده از داده در سازمان مشخص شود این امکان وجود دارد که با استفاده از فناوری‌های مرتبط، امکان دسترسی و استفاده افراد مختلف در سازمان برای تصمیم‌گیری مبتنی بر داده فراهم شود.
✅ ایجاد یک سازمان داده محور بدون ارائه بینش از داده‌ها به افراد درست در زمان درست میسر نمی‌باشد. برای رسیدن به این امر نیاز است تا زنجیره عرضه داده از استخراج، تبدیل و پاکسازی و نهایتا ارائه آن تبیین شود. رسیدن به نقطه تعادل در عرضه و تقاضای داده در یک سازمان یکی از چالش‌های مطرح شده در این مقطع می‌باشد. تقاضا بر اساس داده‌ها، به صورت صعودی به دلیل نیاز به تصمیم‌گیری داده محور افزایش می‌یابد. این موضوع از سمت مدیران میانی و ارشد مطرح می‌شود. بر اساس این تقاضا، عرضه داده از سمت افراد فنی و مرتبط با فناوری اطلاعات در صورت وجود داده‌ها افزایش می یابد. با توجه به اینکه، همواره تمامی داده‌های مورد نیاز برای تصمیم گیری در سازمان به صورت دقیق و منظم وجود ندارند از یک جایی به بعد شیب عرضه کم می‌شود تا عرضه و تقاضای داده با توجه به محدودیت‌ها به نقطه تعادلی برسد.

www.bdbanalytics.ir
@BigData_BusinessAnalytics

🔹محدوده، چشم انداز و مدل بلوغ سازمان داده محور
اگر قرار است سازمانی به سمت داده محور شدن حرکت کند، چه اقدامات و مواردی در این محدوده باید در نظر گرفته شوند و چه مواردی مستثنی شوند؟
کدام ارزش‌های کسب و کاری باید در این راستا مورد هدف‌گذاری قرار گیرند و و ارزش حاصل از یک سازمان داده محور چگونه ارزیابی می‌شود؟
❓علاوه بر این، چه زمانی می‌توان ادعا کرد که یک سازمان به داده محور بودن در تصمیمات رسیده است و چگونه می‌توان سطح بلوغ آن را ارزیابی کرد؟
از نظر فنی محدوده حرکت به سمت سازمان داده محور شامل طراحی؛ توسعه و استقرار زنجیره کامل داده از داده به سمت بینش و نهایتا از بینش به سمت تصمیم می‌باشد. بسته به بلوغ سازمانی، قابلیت داده‌های بزرگ می‌تواند تفاوت قابل توجهی چه از منظر پایین به بالا و چه از منظر نگاه بالا به پایین ایجاد کند. در این مدل، بلوغ داده‌های عظیم یک سازمان بر اساس گستردگی سازمان و فرآیندهای آن در چهار مرحله تعریف می‌شود:

1️⃣ مرحله اول: مدیریت ارزیابی: وجود داشبوردهای استاندارد برای پایش و ارزیابی عملکرد مبتنی بر شاخص‌های کلیدی عملکرد.
2️⃣ مرحله دوم: برتری عملیاتی در داده: استفاده از داده در پیشبرد فرآیندها و عملکرد یک بخش که می‌تواند شامل مواردی همچون قیمت گذاری هوشمند، کشف تقلب و مواردی از این دست باشد.
3️⃣ مرحله سوم: ارتقا در ارزش پیشنهادی: در این مرحله داده منحر به ارائه ارزشی به مشتری می‌شود که از شخصی‌سازی کردن و ارتقا بهبود تجربه مشتری تا تبلیغات هدفمند پیش می رود.
4️⃣ مرحله چهارم: تحول در مدل کسب و کار: در این لایه داده، منجر به تحول در مدل کسب و کار از ایجاد مدل جدید جریان در آمدی و بازمهندسی فرآیندهای کسب و کار پیش می‌رود.



#کتاب_بخوانیم
#فصل_اول
#علی_محمدی
#تصمیم_گیری
#سازمان_داده_محور

www.bdbanalytics.ir
@BigData_BusinessAnalytics

📚معرفی کتاب

📌 ابهام‌زدایی از عظیم داده، یادگیری ماشین و یادگیری عمیق برای تحلیل حوزه سلامت

"Demystifying Big Data, Machine Learning, and Deep Learning for Healthcare Analytics”


📌 نویسنده: Pradeep N, Sandeep Kautish, Sheng Lung Peng
📌 این کتاب در سال 2021 و توسط Elsevier Science انتشار یافته است.



📍کتاب ابهام‌زدایی از عظیم داده، یادگیری ماشین و یادگیری عمیق در حوزه سلامت به ارائه دنیای در حال تغییر استفاده از داده‌ها در حوزه سلامت و بخصوص کلینیک‌ها می‌پردازد. تکنیک‌ها، روش‌ها و الگوریتم‌هایی جهت سازمان‌دهی داده‌ها به صورت ساختاریافته در این کتاب معرفی شده‌اند که می‌تواند برای مهندسان پزشکی و دانشمندان داده برای فهم تأثیر این تکنیک‌ها در تحلیل حوزه سلامت مؤثر باشد.

📍این کتاب به دو بخش اصلی تقسیم شده است. در بخش اول، جنبه‌های عظیم داده مانند سیستم‌های پشتیبانی تصمیم سلامت و موضوعات مرتبط با تحلیل داده مورد بررسی قرار گرفته است. در بخش دوم، تمرکز بر چارچوب‌ها و کاربری‌های فعلی یادگیری عمیق و یادگیری ماشین و ارائه چشم‌اندازی از مسیر آینده تحقیق و توسعه است.


📍در تمام کتاب، رویکرد مورد مطالعه محور، موارد و مثال‌های ارزشمندی از مطالعات دنیای واقعی به عنوان منابع بنیادی در اختیار مهندسان پزشکی، دانشمندان داده و پژوهشگران سلامت قرار می‌دهد.


این کتاب را می‌توانید در پست بعد دریافت نمایید.


#معرفی_کتاب
#عظیم_داده
#میثم_عسگری


@BigData_BusinessAnalytics
www.bdbanalytics.ir