تحلیلگری عظیم‌داده و کسب‌وکار – Telegram
تحلیلگری عظیم‌داده و کسب‌وکار
892 subscribers
45 photos
42 videos
57 files
478 links
📌تحلیلگری عظیم داده و کسب و کار؛

🔎Big Data and Business Analytics

آموزش، پژوهش، اطلاع‌رسانی، ترویج و خدمات مشاوره حوزه تحلیلگری عظیم‌داده

سرپرست کانال: دکتر سعید روحانی، عضو هیأت علمی دانشگاه تهران

وبسایت
www.bdbanalytics.ir

ادمین کانال
@BDBA_UT
Download Telegram
📌مروری بر نحوه استفاده کمپانی H&M از عظیم داده‌ها در جهت بهبود کسب و کار

🖋یکی از حوزه­‌هایی که هوش مصنوعی تاثیر شگرفی بر روند کار آن داشته، حوزه خرده فروشان مد و پوشاک است. فعالان این بازار بطور فزاینده‌ای به هوش مصنوعی روی آورده‌اند تا بتوانند در برآورده‌سازی خواسته‌های مشتریان خود موفق عمل کرده و همچنان در عصر دیجیتال رقابتی باقی مانند.
در همین راستا نگاهی خواهیم داشت به عملکرد یکی از محبوب‌ترین برندهای این حوزه، گروه H&M، و خواهیم دید این کمپانی سوئدی چگونه از عظیم داده‌ها و هوش مصنوعی جهت ارائه خدمات به مشتریان خود استفاده می‌کند.

✳️هدف H&M از بهره‌گیری از عظیم داده‌ها، تحلیل دقیق خواسته‌های مشتریان است تا آنجا که بجای ذخیره‌سازی فروشگاه‌های سراسر دنیا با کالاهای مشابه، با استفاده از بینش حاصل از تحلیل عظیم داده‌ها، به سفارشی‌سازی محلی آنچه در فروشگاه‌ها می‌فروشد بپردازد.

در این کمپانی بیش از 200 دانشمند داده برای درک الگوها و روند خرید مشتریان مشغول به کار هستند. این تیم الگوریتم‌هایی برای تجزیه و تحلیل رسیدهای فروشگاهی و داده‌های کارتهای وفاداری ایجاد کرده‌اند تا خواسته‌های مشتریان را بهتر درک کنند. علاوه بر این، برای جمع‌آوری داده‌های بیشتر از پست‌های وبلاگها و نیز جستجوهای انجام شده در موتورهای جستجو استفاده می‌شود.

✳️به عنوان مثال، در یکی از فروشگاه‌های H&M در استکهلم وقتی از الگوریتم‌های هوش مصنوعی برای مطالعه ترجیحات مشتریان استفاده شد، نتایج نشان داده که خریداران کالا از این فروشگاه بیشتر خانم بوده و بیشتر خریدها متمرکز بر مد مثل دامن‌های گلدار بوده است. همچنین نتایج نشان داد در این فروشگاه خرید کالاهایی با قیمت بالا ترجیح داده می‌شود. لذا اکنون در این فروشگاه کیف‌های چرمی 118 دلاری و ژاکت‌های کشمیر 107 دلاری در کنار تی‌شرت‌های معمولی 6 دلاری به فروش می‌رسد. از دیگر نتایج تحلیل این بود که این فروشگاه به مجموعه خود یک کافی شاپ اضافه کرد و فروش گل را نیز در سبد خدمات خود قرار داد چراکه خروجی تحلیل‌ها حاکی از این بود که مشتریان در طول تجربه خرید خود به این خدمات تمایل دارند.
در واقع H&M بجای تصمیم‌گیری مبتنی بر شهود مدیران، رو به استفاده از الگوریتم‌هایی آورد که بطور مداوم با رفتار و انتظارات مشتریان تنظیم می‌شوند. H&M معتقد است استفاده از عظیم داده‌ها به آنها قدرتی می‌دهد تا دقیق‌تر و مرتبط‌تر به مشتریان خود به ارائه سرویس بپردازند.
✳️راهکارهایی که به لطف الگوریتم‌ها و هوش مصنوعی در H&M بکار گرفته می شوند عبارتند از:
پیش بینی تقاضای بازار: خرده‌فروشان حوزه مد و پوشاک مانند H&M به محصولات تازه با قیمت‌های رقابتی متکی هستند. بینش حاصل از تحلیل داده‌ها به H&M کمک می‌کند تا آنچه را که بازار می‌خواهد پیش‌بینی کند و مجبور نباشد موجودی خود را برای فروش به تخفیف گذارد.
نگهداری اقلام محبوب: بوسیله الگوریتم‌ها و تحلیل روند خریدهای هر فروشگاه، H&M می‌داند که کدام اقلام را در کجا و به چه صورت تبلیغ کند و به فروش رساند.
انبارهای خودکار: گروه H&M روی انبارهای خودکار و تحویل سریع، که در اکثر بازارهای اروپایی یک روزه است، سرمایه گذاری کرده و این امر منحصر به مشتریان وفادار بوده که تحلیل و شناسایی آنها توسط الگوریتم‌ها انجام می‌شود.

👈حال نگاهی خواهیم داشت به زیرساخت فنی پشتیبان این تحلیل‌ها.
همانطور که گفته شد اتکاء اصلی H&M بر داده‌ها بعنوان هسته مرکزی کار بوده و از طرفی باز شدن سریع فروشگاه‌ها در سطح جهان، نیاز به بهبود زنجیره تامین را افزایش می‌دهد.
❇️در این شرایط سیستم Hadoop داخلی H&M ناتوان از تجزیه و تحلیل داده‌های تولید شده توسط میلیون‌ها مشتری بوده، لذا این شرکت به سمت‌ پلتفرم Databricks مهاجرت کرده است.
❇️این پلتفرم با ایجاد محیطی مقیاس پذیر و مشارکتی به مهندسان و دانشمندان داده اجازه می‌دهد تا مدل‌ها را به سرعت با هدف تسریع زنجیره تامین آموزش داده و عملیاتی کنند.
❇️یکپارچگی پلتفرم Databricks با Azure و سایر تکنولوژی‌ها مانند Apache Airflow و Kubernetes اجازه می‌دهد تا مدل‌ها در مقیاس عظیم آموزش ببینند.

👈بطور کلی در H&M حتی 0.1 درصد بهبود در دقت مدل، تاثیر شگرفی بر کسب و کار دارد. این کمپانی با بکارگیری Databricks داده‌ها را برای تصمیم گیرندگان قابل دسترس‌تر کرده و این امر باعث رشد سریع کسب و کار می‌شود.

👈 در مجموع Databricks با بهبود کارایی عملیاتی، بهبود تعاملات و همکاری‌های بین‌تیمی و تاثیرات شگرف بر کسب‌و‌کار با استفاده از بینش حاصل از تحلیل داده‌ها، باعث هوشمندسازی تصمیم‌گیری و نیز صرفه‌جویی چشم‌گیر 70 درصدی در هزینه‌های H&M شده است.


#نمونه_موردی
#عظیم_داده
#اچاندام
#صبا_بزرگی
www.bdbanalytics.ir
@BigData_BisinessAnalytics
📌📌معرفی ابزار HPCC: یک پلتفرم قدرتمند و منبع باز تجزیه و تحلیل عظیم داده

پلتفرم HPCC (High-Performance Computing Cluster) یک پلتفرم سیستم محاسباتی منبع باز است که توسط LexisNexis Risk Solutions توسعه یافته است. پلت فرم HPCC که با نام DAS (Data Analytics Super Computer) نیز شناخته می شود، دارای یک معماری نرم افزاری است که بر روی خوشه های محاسباتی پیاده سازی شده است تا پردازش موازی داده با کارایی بالا را برای برنامه های کاربردی با استفاده از داده های بزرگ ارائه دهد. پلتفرم HPCC شامل پیکربندی‌های سیستمی برای پشتیبانی از پردازش داده‌های دسته‌ای موازی (Thor) و برنامه‌های درخواست آنلاین با کارایی بالا با استفاده از فایل‌های داده فهرست‌شده (Roxie) است. پلتفرم HPCC همچنین شامل یک زبان برنامه نویسی اعلامی داده محور برای پردازش داده های موازی به نام (ECL) Enterprise Control Language است.
انتشار عمومی HPCC در سال 2011 پس از ده سال توسعه داخلی (طبق گفته LexisNexis) اعلام شد. این پلتفرم یک جایگزین برای Hadoop و دیگر پلتفرم‌های Big Data است.
پلتفرمHPCC هر دو نسخه Community و Enterprise Edition را ارائه می‌دهد. نسخه Community برای دانلود رایگان است، شامل کد منبع است و تحت مجوز آپاچی 2.0 منتشر شده است. نسخه Enterprise تحت مجوز تجاری در دسترس است و شامل آموزش، پشتیبانی، غرامت و ماژول های اضافی است.
دو خوشه یکپارچه، یک زبان برنامه نویسی اعلامی، و یک پلت فرم خدمات وب مبتنی بر استانداردها، اساس این راه حل کلان داده جامع و بسیار مقیاس پذیر را تشکیل می دهند.
ویژگی های کلیدی:
🔹 عملکرد سریع
🔹 استقرار و استفاده آسان
🔹 مقیاس از داده های کوچک تا بزرگ
🔹 داشتن API غنی برای آماده سازی داده ها، یکپارچه سازی، بررسی کیفیت، بررسی تکراری و غیره.
🔹 الگوریتم های یادگیری ماشینی موازی برای داده های توزیع شده
🔹 جستجو و جستجوی بلادرنگ با پشتیبانی از SQL، JSON، SOAP و XML
🔹 پشتیبانی رایگان از طریق مستندات دقیق، آموزش های ویدئویی، انجمن ها و تماس مستقیم.
معماری سیستم HPCC
معماری سیستم HPCC شامل دو محیط پردازش خوشه‌ای متمایز Thor و Roxie است که هر یک می‌توانند به طور مستقل برای هدف پردازش داده‌های موازی خود بهینه شوند.
اولین مورد از این پلتفرم ها Thor نام دارد، یک پالایشگاه داده که هدف کلی آن پردازش کلی حجم عظیمی از داده های خام از هر نوع برای هر منظوری است، اما معمولاً برای پاکسازی و بهداشت داده ها، پردازش ETL (استخراج، تبدیل، بارگذاری) استفاده می شود. داده‌های خام، پیوند رکورد و تفکیک موجودیت، تجزیه و تحلیل پیچیده ad hoc در مقیاس بزرگ، و ایجاد داده‌ها و فهرست‌های کلیدی برای پشتیبانی از پرس و جوهای ساختاریافته و برنامه‌های انبار داده با کارایی بالا. نام پالایشگاه داده Thor اشاره ای به خدای اسطوره ای اسکاندیناوی تندر با چکش بزرگ نماد خرد کردن مقادیر زیادی داده خام به اطلاعات مفید است. خوشه Thor از نظر عملکرد، محیط اجرا، سیستم فایل و قابلیت‌هایش مشابه پلتفرم‌های Google وHadoop MapReduce است.
خوشه پردازش فیزیکی Thor است که به عنوان یک موتور اجرای کار دسته ای برای برنامه های محاسباتی فشرده داده مقیاس پذیر عمل می کند. علاوه بر گره‌های اصلی Thor و Slave، اجزای کمکی و مشترک اضافی برای پیاده‌سازی یک محیط پردازش کامل HPCC مورد نیاز است.
دومین پلت فرم پردازش داده موازی Roxie نام دارد و به عنوان یک موتور تحویل سریع داده عمل می کند. این پلتفرم به عنوان یک پلتفرم پرس و جو و تجزیه و تحلیل ساختاریافته آنلاین با کارایی بالا یا انبار داده طراحی شده است که نیازمندی های پردازش دسترسی موازی به داده های برنامه های کاربردی آنلاین را از طریق رابط های خدمات وب ارائه می کند که از هزاران پرس و جو و کاربر همزمان با زمان پاسخ دهی زیر ثانیه پشتیبانی می‌کند. Roxie از یک سیستم فایل نمایه شده توزیع شده برای ارائه پردازش موازی پرس و جوها با استفاده از یک محیط اجرای بهینه و سیستم فایل برای پردازش آنلاین با کارایی بالا استفاده می کند. یک خوشه Roxie از نظر عملکرد و قابلیت‌هایش شبیه به ElasticSearch و Hadoop با قابلیت‌های HBase و Hive اضافه شده است و تأخیرهای جستجوی قابل پیش‌بینی تقریباً زمان واقعی را فراهم می‌کند. هر دو خوشه Thor و Roxie از زبان برنامه نویسی ECL برای پیاده سازی برنامه ها، افزایش تداوم و بهره وری برنامه نویس استفاده می کنند.
یک خوشه پردازش فیزیکی Roxie است که به عنوان یک موتور اجرای پرس و جو آنلاین برای برنامه های کاربردی پرس و جو و انبار داده با کارایی بالا عمل می کند. یک خوشه Roxie شامل چندین گره با فرآیندهای master و slave برای پردازش پرس و جوها است.
یک جزء کمکی اضافی به نام سرور ESP که رابط هایی را برای دسترسی مشتری خارجی به خوشه فراهم می‌کند. و اجزای مشترک اضافی که با یک خوشه Thor در یک محیط HPCC مشترک هستند. اگرچه یک خوشه پردازشی Thor را می توان بدون خوشه Roxie پیاده سازی و استفاده کرد، یک محیط HPCC که شامل یک خوشه Roxie است نیز باید شامل یک خوشه Thor باشد. خوشه Thor برای ساخت فایل های فهرست توزیع شده مورد استفاده توسط خوشه Roxie و توسعه پرس و جوهای آنلاین که با فایل های فهرست در خوشه Roxie مستقر خواهند شد استفاده می شود.

مشخصات پلتفرم:
🔹موتور ETL (Thor)
با استفاده از یک زبان برنامه نویسی قدرتمند (ECL) که به طور خاص برای کار با داده ها توسعه یافته است، داده ها ورودی را تبدیل و بارگذاری می کند.
🔹موتور جستجو (ROXIE)
یک موتور جستجوی مبتنی بر شاخص برای انجام پرس و جوهای بلادرنگ. SOAP، XML، REST و SQL همگی اینترفیس های پشتیبانی شده هستند.
🔹 ابزارهای مدیریت داده
پروفایل سازی داده ها، پاکسازی داده‌ها، به روز رسانی‌ها، زمان بندی کار و اتوماسیون برخی از ویژگی‌های کلیدی هستند.
🔹 ابزارهای مدل سازی پیش بینی کننده
مدل سازی پیش بینی برای انجام رگرسیون خطی، رگرسیون لجستیک، درختان تصمیم، و جنگل های تصادفی.
#معرفی_ابزار
#ابزار_HPCC
#تحلیلگری_عظیم_داده
#فاطمه_مصلحی

www.bdbanalytics.ir
@BigData_BusinessAnalytics
📚 معرفی کتاب

📌 داده‌های عظیم برای تصمیمات بزرگ: ایجاد یک سازمان داده محور

"Big Data for Big Decisions: Building a Data-Driven Organization”


📌 نویسنده: Krishna Pera
📌 این کتاب در سال 2023 و توسط CRC Press انتشار یافته است.

📍ایجاد یک سازمان داده محور (data-driven organization)، ابتکاری در سطح سازمانی است که می‌تواند منابع را برای مدت طولانی مصرف نماید. بنابراین هر سازمانی که به دنبال چنین ابتکاری است، بر اساس نقشه راه و مورد کسب و کاری که باید قبل از تصویب تهیه و ارزیابی شود، اصرار دارد. این کتاب یک متدولوژی گام به گام به منظور ایجاد نقشه راه و مورد کسب و کاری ارائه می‌دهد و روایتی از محدودیت‌ها و تجربیات مدیرانی است که برای راه اندازی سازمان‌های داده محور تلاش کرده‌اند. در این کتاب تأکید بر تصمیمات بزرگ است یعنی تصمیمات کلیدی که بر 90 درصد نتایج کسب و کار تأثیر می‌گذارند. این تصمیمات از ابتدا تصمیم‌گیری و مهندسی مجدد داده‌ها تا فرآیند-زنجیره تصمیم‌گیری و حاکمیت داده‌ها، به طوری که اطمینان حاصل شود که داده‌های درست همواره در زمان مناسب در دسترس هستند.

📍سرمایه گذاری در هوش مصنوعی و تصمیم گیری داده محور در حال حاضر به عنوان یک ضرورت بقا برای سازمان‌ها در نظر گرفته می‌شود تا بتوانند رقابتی باقی بمانند. در حالی که هر شرکتی آرزو دارد 100% داده محور شود و هر مدیر ارشد اطلاعات (CIO) بودجه ای دارد، گارتنر تخمین می زند که بیش از 80٪ از تمام پروژه های تحلیل‌گری در ارائه ارزش مورد نظر ناکام هستند. در این راستا این کتاب متدولوژی برای اطمینان از موفقیت در استخراج ارزش مورد نظر از سرمایه گذاری در تحلیل‌گری ارائه می‌دهد و راهنمایی برای ایجاد یک نقشه راه تحول گام به گام است که داده‌های عظیم را برای تصمیم‌های بزرگ، 10 درصد تصمیم‌هایی که بر 90 درصد نتایج کسب‌وکار تأثیر می‌گذارند، اولویت‌بندی می‌کند، و همچنین بهبودهای اساسی در کیفیت تصمیم‌ها و ارزش قابل اندازه گیری از سرمایه گذاری‌های تحلیلگری ارائه می‌نماید.

📍علاوه بر این، به برخی از موضوعات مهم که تاکنون در چارچوب سازمان داده محور پرداخته نشده است، مانند «اولویت‌بندی تصمیم‌گیری»، مفهوم «شناخته‌ها و ناشناخته‌ها» و ... در این کتاب پرداخته می‌شود. ارائه نقشه راه برای تحلیل‌گری، استراتژی فناوری اطلاعات داده محور، ایجاد استراتژی داده، ایجاد استراتژی بازاریابی داده محور و حکمرانی داده یکپارچه از دیگر موضوعات مورد بررسی در این کتاب است.



این کتاب را می‌توانید در پست بعد دریافت نمایید.


#معرفی_کتاب
#سازمان_داده_محور
#تصمیم‌گیری
#عظیم_داده

#فاطمه_مظفری


@BigData_BusinessAnalytics
www.bdbanalytics.ir
📌معرفی مقالات داغ حوزه عظیم داده‌ها

❇️نام مقاله: تجزیه و تحلیل احساسات چندوجهی: بررسی سیستماتیک تاریخچه، دیتاست­‌ها، روش‌های همجوشی چندوجهی، کاربردها، چالش­‌ها و جهت گیری­‌های آینده

🗓سال انتشار: 2022

📔ژورنال: Information Fusion

🖋نویسندگان:
Ankita Gandhi, Kinjal Adhvaryu, Soujanya Poria, Erik Cambria, Amir Hussain

🔹تحلیل احساسات (SA) در زمینه هوش مصنوعی (AI) و پردازش زبان طبیعی (NLP) جذابیت زیادی به دست آورده است. در همین راستا تقاضای فزاینده­‌ای برای تجزیه و تحلیل خودکار احساسات کاربر نسبت به محصولات یا خدمات وجود دارد. نظرات افراد نیز به طور گسترده­‌ای به صورت آنلاین در قالب ویدئو به جای/ در کنار متن به اشتراک گذاشته می­‌شوند.

🔹این مساله باعث شده است که SA با استفاده از بکارگیری وجوه متعدد، که آنالیز احساسات چندوجهی (MSA) نامیده می‌شود، به یک حوزه تحقیقاتی مهم تبدیل شود. در واقع تجزیه و تحلیل احساسات چندوجهی (MSA) افکار، احساسات و عواطف افراد را از مشاهدات رفتارهای آنها استخراج می­‌کند و در اینجا سرنخ­‌های رفتاری می­‌تواند به صورت نوشته­‌های مستند، حالات چهره، گفتار، علائم فیزیولوژیکی و حرکات بدنی باشد.

🔹در تحلیل احساسات چندوجهی، روش‌های مختلفی برای یافتن حالات عاطفی از تعاملات استفاده می‌شود. متداول­‌ترین وجوه استفاده شده عبارتند از: متن، صوت و تصویر. هر یک از این وجوه به پیش­‌بینی بهتر احساسات کمک می­‌کند و ادبیات موضوع در این حوزه تاکید دارد که سیستم دو وجهی و سه وجهی نتیجه را در مقایسه با سیستم تک وجهی بهبود می­‌بخشد. در واقع هر وجه سهم مهمی در بهبود دقت دارد.

🔹تحلیل احساسات چندوجهی از آخرین پیشرفت­‌های یادگیری ماشین و یادگیری عمیق در مراحل مختلف از جمله برای استخراج ویژگی چندوجهی و همجوشی و تشخیص قطبیت احساسات، با هدف به حداقل رساندن میزان خطا و بهبود عملکرد استفاده می­‌کند .

🔹در این مقاله 10 دیتاست برتر ، که در زمینه MSA می­‌توان بکارگرفت ، همراه با مشخصات آنها معرفی شده است. همچنین در ادامه، مقاله به بررسی طبقه‌بندی اولیه و معماری‌های همجوشی چندوجهی تازه منتشر شده می‌پردازد.

🔹ادغام وجوه مختلف در مرکز تحلیل احساسات با استفاده از روش­‌های متعدد صورت می­‌گیرد. فیوژن یا همجوشی چندوجهی فرآیند فیلتر کردن، استخراج و ترکیب ویژگی­‌های مورد نیاز از داده­‌های دریافتی از منابع مختلف است. سپس این داده­‌ها به منظور استخراج نظرات و ارزیابی نگرش­‌های بیشتر تجزیه و تحلیل می­‌شوند.

🔹پیشرفت‌های اخیر در معماری‌های MSA به ده دسته تقسیم می‌شوند که عبارتند از همجوشی اولیه، همجوشی دیررس، همجوشی هیبریدی، همجوشی سطح مدل، همجوشی تانسوری، همجوشی سلسله مراتبی، همجوشی دو وجهی، همجوشی مبتنی بر توجه، همجوشی کوانتومی و همجوشی سطح کلمه. مقاله ضمن تشریح هریک از دسته­‌های مذکور، به بررسی چندین تحول معماری از نظر مقوله­‌های همجوشی MSA و نقاط قوت و محدودیت­‌های نسبی آنها می­‌پردازد.

🔹 در نهایت، نویسندگان به ارائه تعدادی از کاربردهای بین رشته­‌ای اعم از : شناسایی اقدامات چندوجهی و کشف تقلب، پیش‌بینی بازار برای سیستم معاملاتی، تحلیل احساسات در زمینه گردشگری، تحلیل احساسات پست­‌های اینستاگرام، تحلیل احساسات در توئیتر، تعاملات انسان و کامپیوتر، سیستم بهداشت و سلامت، سیستم آموزش، سیستم­‌های توصیه­‌گر و احساسات نسبت به هر موضوع جاری، می­‌پردازند.

🔹 در خاتمه نیز به بررسی چالش­‌های پیشروی MSA و نیز جهت­‌گیری­‌های تحقیقاتی آینده در این زمینه پرداخته­‌اند

👈درصورت تمایل می‌توانید فایل مقاله را👇👇👇 دانلود فرمایید.

#معرفی_مقاله
#تحلیل_عظیم_داده
#صبا_بزرگی

www.bdbanalytics.ir
@BigData_BusinessAnalytics
📖 کتاب بخوانیم؛

📌 "Big Data for Big Decisions: Building a Data-Driven Organization"


🔸فصل اول "کتاب داده‌های عظیم برای تصمیمات بزرگ:ایجاد یک سازمان داده محور" به تعریف و ضرورت و چرایی حرکت یک سازمان به سمت تصمیمات داده محور می‌پردازد. اگر تصمیمات و اقدامات یک سازمان مبتنی بر بینش حاصل از تحلیل داده‌ها در زمان درست در اختیار افراد مناسب قرار گیرد؛ آنگاه می‌توان نام سازمان داده محور را به آن اطلاق کرد.
در این فصل به طور خلاصه اهمیت طراحی جریان تبدیل داده به تصمیم و ایجاد زنجیره عرضه و تقاضا داده شرح داده می‌شود.
بخش اول: قبل از سفر تحولی
قبل از شروع سفر تحولی برای یک سازمان داده محور، فهمیدن دقیق و درست هدف و ضرورت سازمان داده محور ضروری می باشد. اینکه چرا یک سازمان تصمیم گرفته است که به سمت داده محوری پیش برود. همچنین در این مرحله بررسی و ارزیابی وضع موجود مهم می‌باشد. بر این مبنا در این فصل طور کلی در این فصل مطالب زیر مورد بررسی قرار می‌گیرند:
🔹تعریف سازمان داده محور
داده‌های خام، بدون هیچ پردازشی، نمی‌توانند منجر به بینش و تصمیم سازی شوند. از این رو به منظور ارائه تصمیمات داده محور نیاز است تا مجموعه اقدامات آماده سازی و پردازشی صورت گیرد و سپس بر اساس اهداف سازمان و تحلیل نیز، شخصی سازی شود. در تمامی فصول این کتاب، یک سازمان داده محور به عنوان سازمان بینش محور تعریف می‌شود که تمام تصمیمات آن مبتنی بر تحلیل داده می‌باشد. زمانیکه تمام تصمیمات بر اساس بینش تولید شده از داده می‌باشد نیاز است تا در زمان درست در اختیار شخص درست قرار گیرد.
🔸طراحی جریان تبدیل داده به تصمیم.
طراحی و ایجاد جریانی منسجم برای تبدیل داده‌های خام موجود در یک سازمان به تصمیم، نیازمند درگیری و تلاش همه افراد در یک سازمان می‌باشد. در این مرحله نیاز است تا تمامی تصمیم گیرندگان و همچنین تصمیمات کلیدی سازمان لیست شود. در مرحله بعدی، می‌بایست تمامی نقاطی که در سازمان داده تولید می‌کنند؛ مشخص شود. همچنین تمامی مشخصه‌های اصلی شامل سرعت، حجم، تنوع داده نیز می‌بایست لحاظ شود تا در مراحل بعدی از رویکرد متناسب آن استفاده کرد.
یکی از گام‌هایی که در مراحل اولیه سفر رفتن به سازمان داده محور مورد توجه قرار می‌گیرد، طراحی منشور و مستند داده با همکاری تمامی افراد سازمان می‌باشد. در این مستند داده، تمامی نکات مربوط به داده‌های یک سازمان از کلی ترین حالت تا جزئی ترین مشخص می‌شود. در مستند داده تمامی ستون‌های اطلاعاتی ، موجودیت‌ها، ارتباطات و نوع آن‌ها مشخص می‌شود. یکی از نکات مهم در مورد داده‌های یک سازمان، مشخص کردن زنجیره عرضه و تقاضای داده‌ها بر اساس فرآیندهای سازمان می‌باشد. زمانیکه نحوه تولید و استفاده از داده در سازمان مشخص شود این امکان وجود دارد که با استفاده از فناوری‌های مرتبط، امکان دسترسی و استفاده افراد مختلف در سازمان برای تصمیم‌گیری مبتنی بر داده فراهم شود.
ایجاد یک سازمان داده محور بدون ارائه بینش از داده‌ها به افراد درست در زمان درست میسر نمی‌باشد. برای رسیدن به این امر نیاز است تا زنجیره عرضه داده از استخراج، تبدیل و پاکسازی و نهایتا ارائه آن تبیین شود. رسیدن به نقطه تعادل در عرضه و تقاضای داده در یک سازمان یکی از چالش‌های مطرح شده در این مقطع می‌باشد. تقاضا بر اساس داده‌ها، به صورت صعودی به دلیل نیاز به تصمیم‌گیری داده محور افزایش می‌یابد. این موضوع از سمت مدیران میانی و ارشد مطرح می‌شود. بر اساس این تقاضا، عرضه داده از سمت افراد فنی و مرتبط با فناوری اطلاعات در صورت وجود داده‌ها افزایش می یابد. با توجه به اینکه، همواره تمامی داده‌های مورد نیاز برای تصمیم گیری در سازمان به صورت دقیق و منظم وجود ندارند از یک جایی به بعد شیب عرضه کم می‌شود تا عرضه و تقاضای داده با توجه به محدودیت‌ها به نقطه تعادلی برسد.

www.bdbanalytics.ir
@BigData_BusinessAnalytics
🔹محدوده، چشم انداز و مدل بلوغ سازمان داده محور
اگر قرار است سازمانی به سمت داده محور شدن حرکت کند، چه اقدامات و مواردی در این محدوده باید در نظر گرفته شوند و چه مواردی مستثنی شوند؟
کدام ارزش‌های کسب و کاری باید در این راستا مورد هدف‌گذاری قرار گیرند و و ارزش حاصل از یک سازمان داده محور چگونه ارزیابی می‌شود؟
علاوه بر این، چه زمانی می‌توان ادعا کرد که یک سازمان به داده محور بودن در تصمیمات رسیده است و چگونه می‌توان سطح بلوغ آن را ارزیابی کرد؟
از نظر فنی محدوده حرکت به سمت سازمان داده محور شامل طراحی؛ توسعه و استقرار زنجیره کامل داده از داده به سمت بینش و نهایتا از بینش به سمت تصمیم می‌باشد. بسته به بلوغ سازمانی، قابلیت داده‌های بزرگ می‌تواند تفاوت قابل توجهی چه از منظر پایین به بالا و چه از منظر نگاه بالا به پایین ایجاد کند. در این مدل، بلوغ داده‌های عظیم یک سازمان بر اساس گستردگی سازمان و فرآیندهای آن در چهار مرحله تعریف می‌شود:

1️⃣ مرحله اول: مدیریت ارزیابی: وجود داشبوردهای استاندارد برای پایش و ارزیابی عملکرد مبتنی بر شاخص‌های کلیدی عملکرد.
2️⃣ مرحله دوم: برتری عملیاتی در داده: استفاده از داده در پیشبرد فرآیندها و عملکرد یک بخش که می‌تواند شامل مواردی همچون قیمت گذاری هوشمند، کشف تقلب و مواردی از این دست باشد.
3️⃣ مرحله سوم: ارتقا در ارزش پیشنهادی: در این مرحله داده منحر به ارائه ارزشی به مشتری می‌شود که از شخصی‌سازی کردن و ارتقا بهبود تجربه مشتری تا تبلیغات هدفمند پیش می رود.
4️⃣ مرحله چهارم: تحول در مدل کسب و کار: در این لایه داده، منجر به تحول در مدل کسب و کار از ایجاد مدل جدید جریان در آمدی و بازمهندسی فرآیندهای کسب و کار پیش می‌رود.



#کتاب_بخوانیم
#فصل_اول
#علی_محمدی
#تصمیم_گیری
#سازمان_داده_محور

www.bdbanalytics.ir
@BigData_BusinessAnalytics
📚معرفی کتاب

📌 ابهام‌زدایی از عظیم داده، یادگیری ماشین و یادگیری عمیق برای تحلیل حوزه سلامت

"Demystifying Big Data, Machine Learning, and Deep Learning for Healthcare Analytics”


📌 نویسنده: Pradeep N, Sandeep Kautish, Sheng Lung Peng
📌 این کتاب در سال 2021 و توسط Elsevier Science انتشار یافته است.



📍کتاب ابهام‌زدایی از عظیم داده، یادگیری ماشین و یادگیری عمیق در حوزه سلامت به ارائه دنیای در حال تغییر استفاده از داده‌ها در حوزه سلامت و بخصوص کلینیک‌ها می‌پردازد. تکنیک‌ها، روش‌ها و الگوریتم‌هایی جهت سازمان‌دهی داده‌ها به صورت ساختاریافته در این کتاب معرفی شده‌اند که می‌تواند برای مهندسان پزشکی و دانشمندان داده برای فهم تأثیر این تکنیک‌ها در تحلیل حوزه سلامت مؤثر باشد.

📍این کتاب به دو بخش اصلی تقسیم شده است. در بخش اول، جنبه‌های عظیم داده مانند سیستم‌های پشتیبانی تصمیم سلامت و موضوعات مرتبط با تحلیل داده مورد بررسی قرار گرفته است. در بخش دوم، تمرکز بر چارچوب‌ها و کاربری‌های فعلی یادگیری عمیق و یادگیری ماشین و ارائه چشم‌اندازی از مسیر آینده تحقیق و توسعه است.


📍در تمام کتاب، رویکرد مورد مطالعه محور، موارد و مثال‌های ارزشمندی از مطالعات دنیای واقعی به عنوان منابع بنیادی در اختیار مهندسان پزشکی، دانشمندان داده و پژوهشگران سلامت قرار می‌دهد.


این کتاب را می‌توانید در پست بعد دریافت نمایید.


#معرفی_کتاب
#عظیم_داده
#میثم_عسگری


@BigData_BusinessAnalytics
www.bdbanalytics.ir
Media is too big
VIEW IN TELEGRAM
📌📌 عظیم داده‌، داده‌های بهتری هستند!

🔹 "داده بیشتر فقط دید وسیع‌تر نمی‌دهد بلکه اجازه می‌دهد بهتر ببینیم، اجازه می دهد متفاوت ببینیم."

این جمله بخشی از سخنرانی «کِنِث کوک اِر» نویسنده و سخنران فعال حوزه عظیم داده است. در این سخنرانی کاربردها و قابلیت‌های عظیم داده‌ و یادگیری ماشین عنوان می‌شود.

ارائه مثال‌های کاربردی در حوزه‌های عظیم داده‌‌ و یادگیری ماشین در صنایع خودروسازی، بازی و مخابرات، معرفی چالش‌‌های حقوقی و اخلاقی عظیم داده‌ سبب کاربردی‌تر شدن این سخنرانی شده است.

#ويدئو
#عظیم_داده
#TED
#KennethCukier
#تحلیلگری_داده
#آرش_قاضی_سعیدی

@BigData_BusinessAnalytics
www.bdbanalytics.ir
📖 کتاب بخوانیم؛

📌 "Big Data for Big Decisions: Building a Data-Driven Organization"

📍تصمیم‌محوری پیش از داده‌محوری

🔸فصل دوم کتاب داده‌های عظیم برای تصمیمات بزرگ به بحث تصمیم‌گیری در سازمان می‌پردازد. یک سازمان باید خودآگاه باشد، به این معنا که باید برای عملکرد مطلوب و رقابت‌پذیری در بازار، خود را به طور کامل بشناسد. تحلیل‌گری به سازمان کمک می‌کند تا کسب و کار خود را به طور دقیق‌تر بشناسد. در واقع یک سازمان باید شایستگی‌ها، نقاط قوت و ضعف، تهدیدها و فرصت‌های خود را بشناسد. باید بداند چه محصولاتی تولید کند، چگونه مواد خام خود را تامین نماید، چگونه موجودی‌ها و سرمایه در گردش خود را کنترل کند، چگونه مصرف منابع را بهینه و در عین حال تولید را به حداکثر برساند، در کجا بازاریابی و چگونه محصولات خود را به بازار عرضه نماید. همچنین سازمان باید مشتریان، فروشندگان و کارمندان خود را بشناسد. اگر هدف از تحلیل‌گری داده کمک به شرکت برای شناخت دقیق خود و اتخاذ تصمیمات مبتنی بر داده‌ها و بینش‌های قابل اقدام منتج از آن باشد، آنگاه کسانی که مسئول سرمایه گذاری بر تحلیل‌گری هستند باید بدانند که کدام تصمیمات باید در اولویت قرار گیرند و در واقع باید از تصمیمات حیاتی شروع کنند.

🔹 یک سازمان قبل از اینکه بخواهد داده محور شود، لزوماً نیاز به تصمیم گیری دارد. یک سازمان تصمیم‌محور می‌داند چه تصمیم‌هایی می‌گیرد و هر یک از آن تصمیم‌ها چگونه بر نتایج کسب‌وکار تأثیر می‌گذارند. یک سازمان تصمیم‌محور یک فرآیند رسمی و مسیر حسابرسی را اگر نگوییم برای همه تصمیمات، دست کم برای تصمیمات مهم در نظر می‌گیرد.

🔸به طور مثال، تنها راهی که یک مدیر می تواند کنترل حساب شده‌ای بر زنجیره ارزش سازمانی اعمال کند، تصمیم‌گیری است. در این خصوص انتظار می‌رود تصمیمات با کیفیت خوب به حداکثر رساندن توان عملیاتی سازمان با کاهش محدودیت‌ها در زنجیره ارزش کمک نماید. یک مدیر فقط به اندازه کیفیت تصمیماتش خوب است و مدیری که تصمیمات را به تأخیر می اندازد معمولاً منجر به تنگناهای فرآیند در زنجیره ارزش می‌شود. انتظار می‌رود ایجاد یک فرآیند رسمی برای تصمیم گیری به مدیران کمک کند تا در کیفیت تصمیماتی که می‌گیرند ایجاد ثبات و انسجام کرده و از هر ده بار، نه بار تصمیمات "خوب" بگیرند و در قبال تصمیمات خود پاسخگو باشند.
با این حال، فرآیند تصمیم‌گیری در بین سازمان‌ها غیررسمی است و اغلب فاقد هرگونه حسابرسی به دنبال اتخاذ تصمیمات است. شاید به ندرت بتوان سازمانی را یافت که ساختار سازمانی مبتنی بر «نقش‌های تصمیم‌گیری شفاف» داشته باشند. در واقع سازمان‌هایی که به خودی خود تعاریف روشن نقش را مستند می کنند، بسیار کم هستند چه رسد به ایجاد نقش‌ها بر اساس فهرست مستندی از «تصمیمات».

🔹شایان ذکر است که صدها تصمیم عملیاتی وجود دارد که ماهیتاً تکراری هستند و معمولاً توسط یک مدیر به طور روزمره گرفته می‌شوند و به طور انباشته ارزش بسیار بالاتری نسبت به تمام تصمیمات مربوط به مخارج سرمایه‌ای دارند که در شرکت گرفته می‌شود. به بیان دیگر، یک تصمیم کوچک می‌تواند با ارزش تجمعی خود به طور قابل توجهی بر سودآوری و عملکرد شرکت تأثیر بگذارد. با توجه به اهمیت این تصمیمات عملیاتی «با اثر تجمعی بزرگ»، شناسایی و ایجاد یک فرآیند رسمی برای حفظ کیفیت تصمیمات، علاوه بر ایجاد یک مسیر حسابرسی، مهم است.

🔸نکته حائز اهمیت دیگر آن است که همه تصمیمات 100% مبتنی بر قواعد و کاملا منطقی نیستند. اما بسیاری از مراحل فرعی درگیر در فرآیند تصمیم گیری می‌تواند منطقی و مبتنی بر قاعده باشد. بنابراین، تجزیه فرآیند تصمیم‌گیری به فرآیندهای فرعی و بررسی دقیق این موضوع که آیا هر یک از این فرآیندهای فرعی می‌تواند مبتنی بر قانون و خودکار باشد یا خیر، شیوه‌ای مناسب به شمار می‌رود.

♦️ بنابراین، یک سازمان تصمیم‌محور باید بداند چه تصمیماتی می‌گیرد و کدام یک از این تصمیمات، تصمیمات کلیدی هستند که بر نتایج کسب‌وکار بیشترین تأثیر را می‌گذارند. انتظار می‌رود یک سازمان تصمیم محور برای هر یک از تصمیماتی که به عنوان تصمیم مهم شناخته می‌شوند -به طور ویژه در خصوص 10% از تصمیماتی که %90 از نتایج کسب و کار را تحت تأثیر قرار می‌دهند- با استفاده از رویه‌های عملیاتی استاندارد جهانی مستند شده، فرآیند محور شود. و از همه مهم‌تر اینکه یک سازمان تصمیم‌محور تضمین می‌کند که موفقیتش فرآیند محور و پایدار است و نه مبتنی بر افراد.

#کتاب_بخوانیم
#فصل_دوم
#فاطمه_مظفری
#تصمیم‌گیری
#سازمان_داده_محور

www.bdbanalytics.ir
@BigData_BusinessAnalytics
🔎 معرفی کسب و کار داده محور

📌 در این مقاله قصد داریم به بررسی نتفلیکس (Netflix) بپردازیم. نتفلیکس شرکتی است که هم در زمینه تولید محتوا و هم سرویس پخش مبتی بر اشتراک فعالیت می‌کند که با بهره گیری گسترده از تجزیه و تحلیل داده‌ها، توانسته تبدیل به رهبر صنعت خود شود.
📍هر تصمیمی در نتفلیکس، از طرح رنگی که برای طراحی جلد برنامه‌ها استفاده می‌شود، تا استراتژی‌های بازاریابی شخصی سازی شده، و محتوای اصلی آینده، کاملاً بر اساس بینش داده‌ها است. امروزه این غول استریم 140 میلیارد دلار ارزش دارد و مخاطبان رقبای خود را در سراسر جهان جذب می‌کند.
نتفلیکس تصادفی به اینجا نرسیده است، هر تصمیمی که در نتفلیکس گرفته می‌شود کاملا توسط داده‌ها هدایت می‌شود. طبق ارائه جف مگنوسون، مدیر معماری پلتفرم داده در نتفلیکس، و مهندس چارلز اسمیت، فلسفه داده این برند شامل 3 اصل کلیدی است:
1️⃣ داده‌ها باید در دسترس، آسان برای کشف و پردازش برای همه باشد.(دسترسی پذیری)
2️⃣ مجموعه داده شما چه بزرگ باشد یا کوچک، قابلیت مصور سازی ، توضیح آنها را آسان‌تر می‌کند.(قابل نمایش)
3️⃣ هر چه زمان بیشتری برای یافتن داده‌ها صرف کنید، ارزش آن کمتر می‌شود.(سرعت در جمع آوری داده)

📍رشد نتفلیکس تا حد زیادی به دلیل توانایی آن در شخصی سازی توصیه‌های محتوا برای کاربران در سراسر جهان است. برای انجام این کار، نتفلیکس داده‌ها را جمع آوری می‌کند و از الگوریتم‌هایی برای ایجاد یک تجربه شخصی خاص برای هر کاربر استفاده می‌کند.
📍 وضعیت صنعتی که نتفلیکس به آن دست یافته است به دلیل بینش‌هایی است که نشان می‌دهد چه چیزی باعث می‌شود افراد بیشتر مشترک شوند، چه چیزی باعث می‌شود مدت طولانی تری بمانند و کجا باید تلاش‌های بعدی را برای بهبود خدمات خود به بهترین نحو سرمایه گذاری کنند.
📍این تیم آنقدر به داده‌های شخصی‌سازی شده مشتری می‌پردازد که تفکیک رنگ در طرح‌های جلد برای محتوای اصلی جدید با توجه به تأثیر آن‌ها بر عادت‌های مشاهده کاربر، توصیه‌ها، رتبه‌بندی‌ها و موارد دیگر تعیین می‌شود. همه چیز شخصی‌سازی شده است و از یادگیری ماشینی پیشرفته آنها برای ارائه توصیه‌های بهتر و اطلاع‌رسانی محتوای آینده خود استفاده می‌کند.
♦️ نتفلیکس برای تقویت استراتژی خود و بهبود رضایت مشتری خود با نمایش های جدید، پیشنهادات صحیح و مدیریت بهتر مشتریان خود، دائماً داده‌ها را جمع آوری، تجزیه و تحلیل می‌کند و به داده‌های ورودی تکیه می‌کند.
تیم نتفلیکس با دسترسی به چنین داده‌های عمیقی – هم از سوی مشتریان فعلی و هم از واکنش‌ها به آنچه رقبا در بازار انجام می‌دهند که می‌تواند بدون استفاده از گروه‌های کانونی کوچکتر و سایر اشکال رایج آزمایش، سوالات بهتری بپرسد و تصمیمات آگاهانه بگیرد.

📍از بخش‌هایی از نتفلیکس که به صورت مشهود داده محوری در آن به چشم می‌خورد، بخش محتوای اصلی نتفلیکس که اکنون یکی از شاخه‌های اصلی کسب‌وکارش است که نه تنها از طریق داده‌های کاربر خود که به تماشای فیلم های نتفلیکس می‌پردازند، بلکه از روندهایی که تیم در رسانه‌های اجتماعی مشاهده می‌کند، بینندگان در بازارهای رقیب را با استفاده از الگوریتم‌های پیش‌بینی‌کننده که همبستگی بین عناصر محتوای با عملکرد بالا را ایجاد می‌کنند، تحلیل کرده و تصمیم گیری در مورد محتوای آینده این شرکت را به صورت داده محور به ارمغان می‌آورد.
از طریق داده‌ها و تجزیه و تحلیل داده‌ها، نتفلیکس مجوز محتوا را بر اساس رفتار مشاهده ارگانیک در مقابل آزمایش استاندارد و الگوی واکنشی کاربر صادر می‌کند. هنگامی که محتوا در پلتفرم نتفلیکس در دسترس است، این شرکت مطمئن می‌شود که محتوای مناسب از طریق موتور توصیه خود به مصرف کننده مناسب برسد. امروزه نتفلیکس با بیش از 203 میلیون مشترک، داده‌ها را در طرح اولیه خود قرار داده است و در نتیجه از رقبای خود بهتر عمل می‌کند.

📍تفاوت کلیدی بین Netflix و سایر رقبا برجسته این است که نتفلیکس بر اساس رفتار تماشای ارگانیک در مقایسه با آزمایش آزمایشی استاندارد و فرضیه واکنشی موفقیت یا شکست ناشی آزمایش‌ها، دست به اقدام می‌زند.
یکی دیگر از کارهایی که نتفلیکس به خوبی انجام می‌دهد این است که اطلاعاتی مانند رتبه‌بندی‌ها و تاریخچه بازدید مصرف کنندگان را در نظر بگیرد تا درک عمیقی از پروفایل‌های بیننده یا شخصیت‌های مختلف ایجاد کند و مطمئن شود که داده‌ها در زمان مناسب از طریق الگوریتم توصیه خود به مشتری مناسب می‌رسد. در حالی که اکثر ارائه‌دهندگان رقیب داده‌ها را پس از انتشار یک نمایش تجزیه و تحلیل می‌کنند. این الگو با موفقیت تصمیم گیری مبتنی بر داده را از تصمیم گیری ناموفق با استفاده از داده متمایز می‌کند.
📍 تا به اینجا در مورد تاثیر داده در پیشرفت نتفلیکس صحبت کردیم، با این حال اگرچه داده‌ها هسته اصلی دستیابی به این موفقیت فوق‌العاده بوده است، اما عوامل دیگری نیز برای رشد نتفلیکس حیاتی هستند، مانند تخصص صنعت که به پیش‌بینی آنچه مصرف‌کنندگان می‌خواهند تماشا کنند، برای ثبت رفتار مصرف‌کننده ارگانیک حیاتی بوده است. بعلاوه، فرهنگ سازمان برای حمایت از تجزیه و تحلیل داده در همه سطوح و القای روشی در سطح شرکت برای سنجش، آزمایش و ارزیابی شواهد کمی، که مستلزم تعهد تزلزل ناپذیر مدیریت ارشد است

♦️ به عنوان سخن پایانی، نتفلیکس ثابت می‌کند که یک برند می‌تواند از طریق تجزیه و تحلیل منظم و بهینه سازی به راحتی با مشتریان ارتباط برقرار کند. به بیان ساده، استراتژی تبلیغاتی نتفلیکس مملو از چابکی، جمع آوری داده‌ها، تمرکز بر کاربر، شخصی سازی و فداکاری است. برندهای بزرگ و کوچک می‌توانند از چنین استراتژی پیروی کنند و در سهم ذهنی مخاطب از برند و ارزش بازار خود را افزایش دهند.

#محمدرضا_مرادی
#نتفلیکس
#کسب_و_کار_داده_محور



@BigData_BusinessAnalytics
www.bdbanalytics.ir
📌📌 معرفی ابزار: Apache Impala

🖌آپاچی ایمپالا (Apache Impala) یک پایگاه داده تحلیلی منبع باز و طراحی شده برای آپاچی هدوپ (Apache Hadoop) است.
✳️ ایمپالا با حفظ تجربه کاربری، عملکرد کوئری SQL را در آپاچی هدوپ بالا می‌برد. با استفاده از این ابزار می‌توانید کوئری‌های مختلف، از جمله SELECT، JOIN و توابع تجمیعی را به صورت بلادرنگ بر روی داده‌هایی که در HDFS یا Apache HBase ذخیره شده‌اند اجرا نمایید. علاوه بر این، ایمپالا با به کارگیری متادیتا، سینتکس SQL (Hive SQL)، درایور ODBC، و واسط کاربری (Hue Beeswax) مشابه آپاچی هایو، یک پلتفرم یکپارچه و آشنا برای کوئری‌های دسته‌ای و بلادرنگ را فراهم می‌نماید. به همین دلیل، کاربران آپاچی هایو می‌توانند به راحتی از ایمپالا استفاده نمایند.
♦️ معماری
برای جلوگیری از تأخیر، ایمپالا، MapReduce را دور می‌زند تا مستقیماً به داده‌ها از طریق یک موتور جستجوی توزیع شده تخصصی دسترسی پیدا کند که بسیار شبیه به موتورهایی است که در RDBMS های موازی تجاری یافت می‌شود. نتیجه، بسته به نوع کوئری و پیکربندی، عملکرد سریعتر نسبت به هایو است.
مزایای زیادی برای این رویکرد نسبت به روش‌های جایگزین برای کوئری بر روی داده‌های هدوپ وجود دارد، از جمله:
🔸به لطف پردازش محلی روی گره‌های داده، از گلوگاه‌های شبکه جلوگیری می‌شود.
🔹می‌توان از یک متادیتای واحد، باز و یکپارچه استفاده کرد.
🔸 تبدیل‌های پرهزینه در فرمت داده غیرضروری است و در نتیجه هزینه چندانی تحمیل نمی‌شود.
🔹به سرعت و بدون تاخیر بابت ETL، می‌توان بر روی تمام داده‌ها کوئری زد.
🔸تمام سخت افزار برای درخواست‌های ایمپالا و همچنین برای MapReduce استفاده می‌شود.
🔹برای افزایش مقیاس فقط به یک ماشین نیاز است.
به طور خلاصه ویژگی‌های ایمپالا عبارتند از:
📍کوئری‌های با سبک هوش کسب و کار بر روی هدوپ: ایمپالا کوئری‌های با تأخیر پایین و همزمان برای هدف هوش کسب و کار و تحلیلگری را بر روی هدوپ میسر می‌سازد (که توسط چارچوب‌های دسته‌ای مانند آپاچی هایو ارائه می‌شود). ایمپالا همچنین به صورت خطی مقیاس پذیر است، حتی در محیط‌های multi-tenant.
📍یکپارچه ساختن زیرساخت: به کارگیری فایل، فرمت داده، متادیتا، چارچوب‌های امنیت و مدیریت منابع مشابه با استقرار هدوپ که عدم نیاز به افزونگی در زیرساخت یا تبدیل داده و داده‌های تکراری را امکان‌پذیر می‌نماید.
📍پیاده‌سازی سریع: برای کاربران آپاچی هایو، ایمپالا همان متادیتا و درایور ODBC را مورد استفاده قرار می‌دهد. مشابه هایو، ایمپالا از SQL پشتیبانی می‌نماید بنابراین سرعت بالای پیاده‌سازی را به همراه خواهد داشت.
📍امنیت در کلاس سازمانی: ایمپالا با امنیت طراحی شده برای هدوپ و پروتکل‌های امنیتی آن یکپارچه شده است و با استفاده از ماژول Sentry می‌توان از تعریف دسترسی کاربران و اپلیکیشن‌ها به داده‌ها اطمینان حاصل نمود.
📍گسترش محدوده کاربری هدوپ: با استفاده از ایمپالا، کاربران بیشتری برای به کارگیری کوئری‌های SQL و یا اپلیکیشن‌های هوش کسب و کار، می‌توانند با داده‌های بیشتری از طریق مخزن داده و متادیتای واحد جهت تحلیل بهره مند شوند.


#معرفی_ابزار
#آپاچی_ایمپالا
#هدوپ
#Apache_Impala
#فاطمه_مظفری


@BigData_BusinessAnalytics
www.bdbanalytics.ir
📖 کتاب بخوانیم؛

📌 "Big Data for Big Decisions: Building a Data-Driven Organization"

✳️ بخش سوم کتاب "داده‌های عظیم برای تصمیمات بزرگ: ایجاد یک سازمان داده محور" به ارزش تحلیل عظیم داده برای مفاهیم شناخته شده و ناشناخته در سازمان می‌پردازد. برای بررسی این موضوع از مفهوم پنجره جوهری که یکی از الگوهای بسیار جالب و مورد توجه در تصویر کردن سطوح آگاهی در رفتار انسانی می‌باشد؛ استفاده می‌شود. سازمان‌هایی که به دنبال استفاده از عظیم داده برای تحلیل فرآیندهای کسب و کار و مشتریان می‌باشند با به کارگیری این مفهوم در دو بعد مشتریان و سایر ذینفعان می‌توانند استفاده بهتری از تحلیل داده‌ها داشته باشند.

🔹به طور مثال اگر دانسته‌های انسان را به دو دسته شناخته شده و ناشناخته تقسیم کنیم و همچین علم به اینکه آن موضوع را می دانیم یا خیر می‌توانیم یک ماتریس دو بعدی از این تلاقی تشکیل دهیم که شامل چهار گروه است:
1️⃣ گروه اول: نسبت به آنچه که می دانیم آگاه نیستیم.
2️⃣ گروه دوم: نسبت به آنچه نمی دانیم آگاه نیسیتم.
3️⃣ گروه سوم:نسبت به آنچه می دانیم آگاه هستیم.
4️⃣ گروه چهارم: نسبت به آنچه نمی دانیم آگاه هستیم.
تحلیل عظیم داده به نحوی می تواند در شناسایی هر یک از این چهار گروه به سازمان کمک کند.

🔸هر سازمان وابسته به اینکه چه تصمیمی در حال حاضر می‌گیرد و یا در آینده قصد دارد به آن سمت و سو برود و همچنین دسترسی و عدم دسترسی به داده می‌تواند کاربردهای عظیم داده را در چهار گروه قرار دهد که در صورت وجود داده شامل تحلیل عظیم داده برای شناسایی الگوها، تحلیل روندها و تحلیل آماری برای تصمیماتی است که در حال حاضر در دستور کار قرار ندارد. این کاربردها همچنین شامل تمرکز بر روی 10 درصد از تصمیماتی که 90 درصد تاثیر و نتایج را به دنبال دارند، مکانیزه کردن تمامی تصمیماتی که مبتنی بر قوانین می‌باشند و تصمیمات تجویزی در نقاط حیاتی برای تصمیمات کنونی که سازمان اتخاذ می‌کند، می‌باشد.


🔹همانطور که پیشتر ذکر شد یکی از الگوهای بسیار جالب و مورد توجه در تصویر کردن سطوح آگاهی در رفتار انسانی پنجره ی جوهری است. این مدل پیوند فرد با اشخاص دیگر را در چهار خانه نشان می‌دهد که این چهار خانه هریک خانه‌ای از یک پنجره ی بزرگ است. هر خانه نشان دهنده ی آگاهی - به‌وسیله ی خود فرد یا به‌وسیله ی دیگران - از رفتار، احساسات و انگیزه‌های خود است.همین مفهوم را در مورد تحلیل عظیم داده در یک سازمان در دو بعد مشتریان و سایر ذینفعان شامل کارکنان، سرمایه‌گذاران و جامعه در نظر گرفت.
از آنجاییکه سازمان‌ها در محیط ایستا عمل نمی‌کنند. همه چیز از مشتری الزامات مربوط به رقابت، مقررات دولتی و الزامات انطباق همه در طبیعت پویا هستند و می‌توانند به طور قابل توجهی یک شبه تغییر کنند. پاسخ به این سوال که چگونه یک سازمان اولویت‌های تحلیلی داده خود را به دست آورد جواب مشخصی ندارد و کاملا وابسته به سطح بلوغ سازمان در داده می‌باشد. همانطور که سازمان‌ها بالغ می‌شوند، تمایل دارند مناطق شناخته شده را پنجره جوهری چه از منظر مشتریان و سایر ذینفعان گشترس دهند. تا بدین ترتیب بتوانند؛ فرآیند محورتر شوند و داده‌های مرتبط ساختار یافته تری را کسب کنند و مهم‌تر از آن، تصمیم گیری ساختارمندتری دارند.

پنجره جوهری از نگاه مشتریان:
هر سازمان که به دنبال تحلیل داده محور کسب و کار می‌باشد باید پنجره جوهری را از دیدگاه مشتری در نظر بگیرد. در میان خانه‌های این پنجره از دیدگاه مشتری، ناحیه کور نشان دهنده درک مشتریان از ارزش محصولات و خدمات سازمان‌ها در مقابل سازمان‌های رقیب می‌باشد. این نشان دهنده فرصتی برای کشف ویژگی‌های پنهان تأثیرگذار در رفتار مشتریان از طریق به کارگیری تحلیل داده‌های رفتاری مشتریان می‌باشد. به طور مشابه، منطقه ناشناخته، دلایل رفتارهای کاملا پنهان مشتری می‌باشد که نه مشتریان و نه سازمان نسبت به آن آگاه نمی‌باشند. از نظر فنی و تحلیلی، این منطقه ممکن است فرصت‌هایی برای پیشرفت‌های بزرگ از طریق تجزیه و تحلیل عظیم داده‌ها داشته باشد.
پنجره جوهری از نگاه کارمندان:
پنجره جوهری از نگاه کارمندان می‌تواند برای سایر ذینفعان همچون سرمایه گذاران، جامعه و دولت نیز در نظر گرفته شود. مشارکت و حفظ کارکنان یکی از موضوعات کلیدی برای سازمان‌های پیشرو می‌باشد که در راس توجه به کیفیت زندگی افراد قرار دارد و از طریق این تحلیل این پنجره می‌توان کمک های شایانی را در این زمینه به سازمان کرد. به عنوان مثال چرا یک محصول یا جغرافیای سازمان از منظر شاخص‌های سنجش رضایت کارکنان بهتر از بقیه است؟




#کتاب_بخوانیم
#فصل_سوم
#علی_محمدی
#تصمیم_گیری
#سازمان_داده_محور

www.bdbanalytics.ir
@BigData_BusinessAnalytics
📌معرفی مقالات داغ حوزه عظیم داده‌ها

❇️نام مقاله:
 Issues and Challenges of Aspect-based
Sentiment Analysis: A Comprehensive Survey


🖋نویسندگان: 
Ambreen Nazir , Yuan Rao, Lianwei Wu , and Ling Sun


📔منتشر شده در : 
IEEE Transactions on Affective Computing

🔸این مقاله به حوزه تحلیل احساسات (SA) که به عنوان عقیده کاوی نیز نامیده می‌شود، بعنوان یک حوزه تحقیقاتی فعال برای نمایش احساسات و کشف خودکار احساسات بیان شده در متن می‌پردازد. هدف SA معمولاً محصول یا خدماتی است که در بین مردم مورد توجه است و افراد به بروز احساسات نسبت به آن اهمیت می­‌دهند. به طور سنتی، SA به عنوان یک قطبیت عقیده در نظر گرفته می‌شود که آیا شخصی در مورد یک رویداد احساسات مثبت، منفی یا خنثی ابراز کرده است.

🔸تحلیل احساسات  به طور کلی در سه سطح طبقه‌بندی شده است. سطح سند، سطح جمله و سطح جنبه به این معنا که آیا یک سند کامل، یک جمله (ذهنی یا عینی) و یک جنبه بیانگر یک احساس است، یعنی مثبت، منفی یا خنثی.

🔸حوزه تحلیل احساسات مبتنی بر جنبه(AbSA)، که در آن جنبه‌ها استخراج می‌شوند، احساسات مربوط به آن‌ها تحلیل می‌شوند و احساسات در طول زمان تکامل می‌یابند، با افزایش بازخورد عمومی و حضور مشتریان در رسانه‌های اجتماعی، بسیار مورد توجه قرار گرفته است. پیشرفت‌های عظیم در این زمینه، محققان را بر آن داشت تا تکنیک‌ها و رویکردهای جدیدی را ابداع کنند، که هر کدام متمرکز بر یک تحلیل/پرسش پژوهشی متفاوت بوده و با مسائل آتی و سناریوهای پیچیده تحلیل احساسات مبتنی بر جنبه کار می‌کند.
 
 🔸حوزه AbSA را می­‌توان بر اساس سه مرحله پردازش اصلی طبقه‌بندی کرد: استخراج جنبه (AE)، تجزیه و تحلیل احساسات جنبه (ASA) و تکامل احساسات (SE). فاز اول به استخراج جنبه‌ها می‌پردازد که می‌تواند جنبه‌های صریح، جنبه‌های ضمنی، اصطلاحات جنبه، موجودیت‌ها و هدف عبارات نظر (OTE) باشد. مرحله دوم قطبیت احساسات را برای یک جنبه، هدف یا موجودیت از پیش تعریف شده طبقه بندی می­‌کند. این مرحله همچنین تعاملات، وابستگی­‌ها و روابط معنایی زمینه­‌ای را بین اشیاء داده­‌ای مختلف، به عنوان مثال، جنبه، موجودیت، هدف، هدف چند کلمه­‌ای، کلمه احساس، برای دستیابی به دقت طبقه‌بندی احساسات، فرموله می­‌کند. مرحله سوم به پویایی احساسات افراد نسبت به جنبه­‌ها (رویدادها) در یک دوره زمانی مربوط می­‌شود. ویژگی­‌های اجتماعی و تجربه شخصی به عنوان علل اصلی SE در نظر گرفته می­‌شود.

🔸از سویی نویسندگان مقاله تاکید دارند که تمرکز پژوهش­‌های موجود به جزئیات فنی یا مراحل خاص AbSA محدود می­‌شود و در آنها مسائل مهم و چالش­‌های کلیدی AE، ASA، SE به طور دقیق بیان و خلاصه نشده است. همچنین به دلیل دستاوردها و نوآوری­‌های نمایی در سال­‌های اخیر، نتایج آن پژوهش‌ها در معرض منسوخ شدن قرار گرفته­‌اند. لذا برای پر کردن این شکاف، نویسندگان مقاله یک بررسی جامع مرتبط با AbSA را پیشنهاد می‌کنند.

 🔸در همین راستا این پژوهش بر مطالعه مسائل و چالش‌های مرتبط با استخراج جنبه‌های مختلف و احساسات مربوط به آن‌ها، نگاشت رابطه‌ای بین جنبه‌ها، تعاملات، وابستگی‌ها و روابط معنایی زمینه‌ای بین اشیاء داده‌ا­ی مختلف برای بهبود دقت احساسات و پیش‌بینی پویایی تحول احساسات تمرکز دارد.

🔸در نهایت یک مرور کلی دقیق از پیشرفت­‌های اخیر در این حوزه خواهد داشت بر اساس اینکه سهم هریک در برجسته کردن و کاهش موضوعات مربوط به استخراج جنبه، تحلیل احساسات جنبه یا تکامل احساسات چه بوده است. عملکرد گزارش شده برای هر مطالعه موشکافانه استخراج جنبه و تحلیل احساسات جنبه نیز ارائه شده است که ارزیابی کمی رویکرد پیشنهادی را نشان می‌دهد.  در انتها رویکردهای تحقیقاتی آتی با تحلیل انتقادی راه‌حل‌های اخیر ارائه شده پیشنهاد و مورد بحث قرار می‌گیرند که برای محققین مفید و برای بهبود طبقه‌بندی احساسات در سطح جنبه کارآمد خواهد بود.

👈در صورت تمایل، می‌توانید فایل مقاله را دانلود فرمایید👇👇

#معرفی_مقاله
#تحلیل_عظیم_داده
#صبا_بزرگی
www.bdbanalytics.ir
@BigData_BusinessAnalytics
🔎 معرفی کسب و کار داده محور

📌مک دونالد یک موسسه آمریکایی است، که در سال 1940 به عنوان رستورانی تحت مدیریت ریچارد و موریس مک دونالد در سن برناردینو، کالیفرنیا تأسیس شد که تحت رهبری ری کروک رشد کرد و به برند پیشرو رستوران خدمات سریع در جهان تبدیل شد که از طریق نزدیک به 40 هزار شعبه در بیش از 70 میلیون مشتری خدمات ارائه می‌دهد. امروزه در 100 کشور مک دونالد حضور دارد و یکی از نمادین‌ترین برندهای جهان است.

📍کریگ برابک (Craig Brabec) مدیر ارشد تجزیه و تحلیل داده‌ها (CDAO) در مک دونالد است، سمتی که او در پاییز 2020 به عهده گرفت. برابک پیش از این رهبر بینش و تجزیه و تحلیل اطلاعات در شرکت خودروسازی فورد بود و قبل از آن به مدت طولانی مدیر ارشد تجزیه و تحلیل کاترپیلار بود. برابک توضیح می‌دهد: «به‌عنوان CDAO مک‌دونالد، وظیفه من این است که داده‌ها را برای ارزش در سراسر سازمان جهانی القا کنم. در این مقام، من مسئول هدایت تحول داده‌های سازمانی، ایجاد بهترین استراتژی و مدیریت داده در کلاس، و بشارت دادن به این تغییرات در سراسر مک‌دونالد هستم.» او ادامه می‌دهد: «به عنوان بخشی از برنامه رشد استراتژیک مک‌دونالد، «شتاب دادن به قوس‌ها»، این شرکت متعهد به نوآوری در زمینه‌های «دیجیتال، تحویل و رانندگی» است. مک‌دونالد متعهد به ابتکاراتی است که تلاش‌ها را تسریع می‌کند تا تجربه مشتری و خدمه راحت‌تر و منحصربه‌فرد را تضمین کند.»

♦️به عنوان نمونه ای از نحوه استفاده مک دونالد از داده‌ها و تجزیه و تحلیل‌ها برای بهبود تجربه مشتری و خدمه، برابک به تلاشی اشاره می‌کند که مک دونالد با توسعه و استقرار فناوری سفارش خودکار (AOT) در رستوران‌های مک دونالد انجام می‌دهد. مک دونالد با ابتکار AOT با آی‌بی‌ام همکاری می‌کند و بر تخصص آن‌ها در ارائه راه‌حل‌های مراقبت از مشتری با هوش مصنوعی و پردازش زبان طبیعی تکیه می‌کند. AOT تعاملات مشتری را خودکار می‌کند، با استفاده از داده‌های مشتری و جزئیات سفارش برای تسریع دقت و انجام سفارش با حداقل دخالت انسانی. از طریق AOT، کارمندان می‌توانند موثرتر باشند. آنها می‌توانند به جای گرفتن و وارد کردن سفارشات، روی مسئولیت‌های دیگر تمرکز کنند. یک سیستم خودکار سفارش غذا اشتباهات در پذیرش سفارش‌ها را از بین می‌برد، زیرا اطلاعات مشتری و جزئیات سفارش بر روی تابلوهای منو دیجیتال نمایش داده می‌شود. AOT همچنین می‌تواند با ایجاد پایگاه‌داده‌ای از تجربه سفارش آنلاین که تصمیمات مبتنی بر داده‌ها و اتوماسیون ارتباطات مشتری از جمله شخصی‌سازی را امکان‌پذیر می‌سازد، از خدمات مشتری و فعالیت‌های بازاریابی پشتیبانی کند.

♦️توسعه و آزمایش فناوری AOT در رستوران‌های مک‌دونالد، مزایایی را به مشتریان ارائه می‌کند و در عین حال تجربه خدمه رستوران را افزایش می‌دهد. برابک خاطرنشان می‌کند: «تمرکز ما بر تجربه مشتری و خدمه ما را بر آن می‌دارد تا به دنبال استفاده از هوش مصنوعی در سراسر کسب‌وکار باشیم – در حوزه‌های مشتری با تماس بالا و همچنین زنجیره تأمین. عملیات رستوران، طراحی و توسعه؛ پایداری؛ و حتی عملکردهای شرکتی." تحقیقات نشان می‌دهد که استفاده از AOT برای ارائه خدمات مبتنی بر داده تأثیر مثبتی بر بهره وری کارگران و سودآوری کلی دارد. شش بازار برتر مک‌دونالد در سال 2021 شاهد بیش از یک چهارم فروش سیستمی خود (یا 18 میلیارد دلار) از کانال‌های دیجیتالی – متشکل از اپلیکیشن موبایل، تحویل و کیوسک‌های درون فروشگاهی – بودند که نسبت به سال 2020 ،60 درصد افزایش داشته است.

📍برابک خاطرنشان می‌کند که شرکت‌هایی مانند مک دونالد باید طیف وسیعی از مسائل را بر اساس داده‌های مشتری، مانند ردپای شهری در مقابل حومه، و مفاهیم جدید در نظر بگیرند. او اهمیت به کارگیری تفکر در صنایع دیگر، مانند کاهش موجودی کالا، کاهش پیچیدگی، و دیگر روش‌های «تولید همبرگر در حجم» را برجسته می‌کند. مک دونالد ارزش تجاری سرمایه گذاری خود در داده ها و تجزیه و تحلیل را با ردیابی عملکرد کلی کسب و کار و همچنین معیارهای تجربه مشتری می‌سنجد. برابک نتیجه گیری می‌کند: "مهم است که تلاش‌های ما مستقیماً با عملکرد تجاری مرتبط باشد - برای نشان دادن تأثیر واقعی آنها و اولویت بندی و هماهنگی با ابتکارات استراتژیک خود."
♦️از دیگر اقدامات مک دونالد برای حرکت به سوی داده محوری این است که چند وقت پیش مک‌دونالد استارت‌آپ «Dynamic Yield» را به قیمت 300 میلیون دلار خریداری کرد که آن را به یکی از بزرگترین خریدها در تاریخ خود تبدیل کرد. Dynamic Yield از یادگیری ماشینی استفاده می‌کند تا به خرده‌فروشانی مانند Ikea و Sephora را با فناوری «منطق تصمیم‌گیری» مبتنی بر الگوریتم ارائه دهد. «منطق تصمیم‌گیری» فناوری است که توصیه‌های آنلاین را تقویت می‌کند، به انگیزه «مشتریان نیز خریدند» فکر کنید که وقتی چیزی به سبد خود اضافه می‌کنید دریافت می‌کنید.
📍به عنوان صحبت آخر، مک دونالد در قسمت داده محوری اصول زیر را رعایت میکند :
1️⃣ در لحظه خرید داده‌های بهتری بگیرید:
آوردن لحظه خرید به یک رابط دیجیتال به شما یک نمای زنده از عادات خرید می‌دهد: افراد در حال مرور چه چیزی هستند، چه زمانی خریداری می‌کنند.
نقاط داده متنی همچنین می‌توانند این داده‌های خرید را غنی‌تر کنند: زمان روز/سال، مشغله‌ی فروشگاه، آب‌وهوا، گوش‌دادن اجتماعی، حتی افرادی که در آن زمان با آنها خرید می‌کنند.
2️⃣ تجزیه و تحلیل و استخراج الگوها از داده‌ها:
مشابه تجزیه و تحلیل تجزیه و تحلیل آنلاین، الگوها را می‌توان از طریق داده‌های داخل فروشگاه تشخیص داد که به شما بینشی در مورد رفتار خرید می‌دهد. با استفاده از این شواهد، تیم‌ها می‌توانند فرضیه‌هایی در مورد آنچه مشتریان می‌خواهند و به احتمال زیاد با آن درگیر هستند، تشکیل دهند.
به عنوان راهی برای اثبات یا رد این فرضیه‌ها، آزمایش‌های کوچک (A/B Testing) باید در داخل فروشگاه اجرا شوند تا مفروضات را تأیید کنند.
3️⃣ توصیه‌های سطحی به مشتریان در فروشگاه:
فرضیه‌های ساده انگارانه می‌توانند به عنوان قوانین وارد یک موتور توصیه شوند - یعنی اگر کاربر این کار را انجام داد، این را به آنها پیشنهاد دهید. با گذشت زمان، این موتور می‌تواند شروع به محاسبه پیشنهادات پیچیده‌تر و شخصی‌تر کند و آنها را مستقیماً از طریق رابط‌های دیجیتال به مشتریان ارائه دهد.
جمع‌آوری داده‌های بهتر و درک بینش‌های بهتر در نهایت به توصیه‌های مرتبط‌تر و حتی طرح‌بندی فروشگاه‌های جدید منجر می‌شود.


#محمدرضا_مرادی
#مک_دونالد
#کسب_و_کار_داده_محور



@BigData_BusinessAnalytics
www.bdbanalytics.ir