نقد و بررسی نخستین پیمایش کلان داده‌ها در ایران!

https://goo.gl/NSoLUw

نخستین پیمایش کلان داده‌ها در ایران به کارفرمایی وزارت ارتباطات و فناوری اطلاعات در پژوهشگاه ارتباطات و فناوری اطلاعات(مرکز تحقیقات مخابرات ایران) باهدف شناسایی وضعیت موجود زیست‌بوم کلان داده‌ها در کشور در جهت برنامه‌ریزی‌های کارآمدتر در این حوزه منتشر گردیده است. در ادامه برخی نکات پیرامون این گزارش قابل‌ذکر می‌باشد.

1- در مقایسه با نقشه راه توسعه کلان داده در کشور که در سال 1395 توسط کارگروه کلان داده جامعه آزاد رایانش ابری منتشر گردید گزارش فوق دارای جامعیت بسیار خوبی از لحاظ حضور شرکت‌های فعال در حوزه Big Data در این طرح و ارائه گزارش‌های توصیفی از فضای کلان داده در ایران می‌باشد.

2- ارائه گزارش‌هایی از پلتفرم‌ها، ابزارها و بسترهای زیرساختی کلان داده مورداستفاده در پروژ‌ه‌های Big Data یکی از مواردی بود که اگر در مستند فوق یا تحت پیوست فنی منتشر می‌گردید می‌توانست جامعیت و کیفیت گزارش فوق را دوچندان نماید.

3- با توجه به نتایج گزارش‌ها ارائه‌شده در حدود 28 درصد از شرکت‌های حاضر در این پیمایش حجم اطلاعاتی کمتر از یک ترابایت دیتا داشته‌اند و بیش از 50 درصد دادگان شرکت‌ها ساختاریافته بوده است. بنا به مؤلفه‌های کلان داده شامل حجم،َ تنوع و نرخ تولید اطلاعات به نظر می‌‌رسد بعضاً ممکن هست برخی شرکت‌هایی در این طرح موردبررسی قرارگرفته باشد که در حوزه جمع‌آوری، پردازش و تحلیل داده در سطوحی غیر از کلان داده فعال بوده‌اند.

4- با توجه به کارفرمایی وزارت فناوری اطلاعات در پروژه فوق به نظر می‌رسید پیمایش فوق به حوزه‌های مدیریت استراتژیک و ارائه مدل‌ها و چارچوب‌های بومی کلان داده در کشور توجه بیشتری نماید.

در انتها با توجه به گزارش‌های توصیفی ارائه‌شده از فضای کلان داده کشور، به‌تمامی متخصصین و علاقه‌مندان حوزه کلان داده توصیه می‌نمایم مستند فوق را مطالعه نمایند. برخی از فرصت‌های سرمایه‌گذاری و خلأهای موجود در کشور در این گزارش قابل‌شناسایی است که می‌تواند ایده‌های مناسبی برای شرکت‌ها و استارت‌آپ‌ها در جهت سرمایه‌گذاری در این بخش‌ها باشد.

پی‌نوشت:
گزارش تحلیلی نخستین پیمایش کلان داده‌ها در ایران از طریق لینک زیر قابل دانلود می‌باشد.
http://bigdata.itrc.ac.ir/sites/default/files/book-final-005.pdf

ارادتمند
محمدرضا محتاط

مقایسه میزان درآمد سالیانه متخصصین حوزه‌های علم‌داده، مهندس‌داده، تحلیلگر کسب‌وکار و...

@dataanalysis

هوش تجاری و زیرساخت کلان داده
ارائه کارگاه کلان داده همایش تراکنش آبان 96
در این ارائه به مفهوم کلان داده و ارتباط انباره داده و هوش تجاری با کلان داده در صنعت بانک پرداخته شده است.
https://www.aparat.com/v/184PG

هوش تجاری
هوش تجاری یا هوشمندی کسب و کار ایرانیان
هوش تجاري مجموعه توانايي ها، تكنولوژي ها، ابزارها و راهكارهايي است كه به درك بهتر مديران از شرايط كسب و كار كمك مي نمايد. ابزارهاي هوش تجاري، ديدگاه هايي از شرايط گذشته، حال و آينده را در اختيار افراد قرار مي دهند. استفاده از راهکارهای هوش تجاری پاسخی مناسب به چالش¬های مربوط به تنوع در بانک های اطلاعاتی موجود و عدم یکپارچگی سامانه های اطلاعاتی و عدم امکان ارائه گزارش های تحلیلی از پایگاه مه داده می باشد. برای پیاده سازی و استقرار سامانه هوش تجاری در یک سازمان نیاز به طراحی انباره داده و ETL است تا علاوه بر افزایش سرعت در گزارش های خروجی اطمینان به گزارش های تولیدی نیز بالا باشد. مدیران نه تنها گزارش ها و هشدارهایی مبنی بر یک اتفاق خاص در سازمان را دریافت می کنند، بلکه این اخطارها می توانند به طور خودکار باعث اجرای فرآیندهایی در سامانه شوند.


هوش تجاری
هوش تجاری یا هوشمندی کسب و کار ایرانیان
هوش تجاري مجموعه توانايي ها، تكنولوژي ها، ابزارها و راهكارهايي است كه به درك بهتر مديران از شرايط كسب و كار كمك مي نمايد. ابزارهاي هوش تجاري، ديدگاه هايي از شرايط گذشته، حال و آينده را در اختيار افراد قرار مي دهند. استفاده از راهکارهای هوش تجاری پاسخی مناسب به چالش¬های مربوط به تنوع در بانک های اطلاعاتی موجود و عدم یکپارچگی سامانه های اطلاعاتی و عدم امکان ارائه گزارش های تحلیلی از پایگاه مه داده می باشد. برای پیاده سازی و استقرار سامانه هوش تجاری در یک سازمان نیاز به طراحی انباره داده و ETL است تا علاوه بر افزایش سرعت در گزارش های خروجی اطمینان به گزارش های تولیدی نیز بالا باشد. مدیران نه تنها گزارش ها و هشدارهایی مبنی بر یک اتفاق خاص در سازمان را دریافت می کنند، بلکه این اخطارها می توانند به طور خودکار باعث اجرای فرآیندهایی در سامانه شوند.


@AryaVisions

محبوبترین ابزارها و نرم‌افزارهای مرتبط با حوزه علم‌داده در کشور سوئیس!

@dataanalysis

محبوبترین ابزارها و نرم‌افزارهای مرتبط با حوزه علم‌داده در کشور آلمان!

@dataanalysis

اتصال به منابع داده مختلف در آریاویژن
@aryavisions

اتصال به منابع داده مختلف در آریاویژن:

• ترکیب و پیوند بر روی پایگاه های داده مختلف
• پشتیبانی کامل از تقویم هجری شمسی
• پشتیانی کامل از دریل دان و رول آپ داده های زمانمند
• اتصال به پایگاه های داده Oracle ،Microsoft SQL Server ، MySQL ، PostgreSQL
• دسترسی به فایل های Excel ، CSV ، JSON و XML استخراج و نرمال سازی هوشمند اطلاعات از فایل های اکسل
• اتصال به سرویس آنالیز داده مایکروسافت SSAS
• تشخیص خودکار نوع داده های غیر ساخت یافته ورودی
• نمایه سازی خودکار جدول ها
• سیستم نگهداری موقت پاسخ درخواست های پر تکرار

@aryavisions

اینترنت اشیا و کاربرد آن در سلامت و پزشکی
https://www.aparat.com/v/BgGCc
در این ارائه نمونه کاربردهای اینترنت اشیا در سلامت و پزشکی مطرح شد و آینده اینترنت اشیا و اینترنت اشیا پزشکی در این زمینه مطرح شد. همچنین کاربرد اینترنت اشیای پزشکی و ارتباط آن با تله مدیسین در بخش دوم مطرح شد

کتاب Predictive Analytics انتشارات Wiley

@dataanalysis

کتاب Predictive Analytics انتشارات Wiley

@dataanalysis

آریا ویژن از آپاچی کاساندرا هم استفاده می کند
@aryavisions

پایگاه داده آپاچی کاساندرا(Apache Cassandra) چیست؟

کاساندرا یک پایگاه داده توزیع شده است. برای اینکه بدانید توزیع شدگی چیست، بهتر است درس سیستم توزیع شده چیست را مطالعه ای داده داشته باشید. این پایگاه داده برای مدیریت کلان داده یا مه داده کاربرد فراوانی دارد. کاساندرا هیچ نقطه خاص خرابی ندارد و به راحتی میتواند بر روی چندین کامپیوتر توزیع شود. این پایگاه داده توسعه پذیر خطی است و دسترس پذیری بالایی دارد. برای درک مفهوم توسعه پذیر خطی میتوانید این درس را مطالعه کنید. کاساندرا برای کار با داده های بسیار بزرگ طراحی شده است تا کاربران بتوانند این داده ها را به راحتی و با سرعت بالا دریافت کنند.در کاساندرا از معماری مستر/اسلیو استفاده نشده است. زیرا در این معماری معمولا گره (سرپرست) به دلیل کارکرد زیاد به گلوگاه سیستم تبدیل می شود. یعنی در صورتی که مستر از کار بیفتد یا کند شود، کل سیستم از کار می افتد یا کند می شود. برای همین در کاساندرا چیزی به نام مستر وجود ندارد و تمامی گره ها(کامپیوترها)ی متصل به هم، مانند یکدیگر رفتار می کنند. داده ها در گره های مختلف تکرارمی شوند. ساختار تکرار و تکثیر در آپاچی کاساندرا مانند شکل زیر است:

در درس آشنایی انواع با پایگاه داده NoSQL بحث کردیم که Cassandra از دسته Column Family Database ها است. این پایگاه داده ها که داده ها را به جای اینکه به صورت سطر به سطر مشاهده کنند، به صورت ستون به ستون مشاهده و ذخیره سازی میکنند، مناسب برای کاربردهایی مانند پردازش داده های بزرگ و BigData هستند. Cassandra از زبان پرس و جویی به نام CQL استفاده میکند که بسیار شبیه SQL است و برنامه نویسانی که میخواهند از SQL به Cassandra مهاجرت کنند، کار زیاد سختی در پیش ندارند.
@aryavisions

مشکلات سیستم bi

خودداری کاربران یکی از موانع بزرگ بر سر راه موفقیت BI است. مشکلات دیگر شامل ناچار شدن به غربال حجم زیادی از داده‌های نامربوط و کیفیت پایین داده‌هاست.
کلید به دست آوردن بینش دقیق از طریق سیستم BI، داده‌های استاندارد است. در هر بررسی BI، داده‌ها مهم‌ترین نقش را دارند. داده‌ها مثل آجرهایی هستند که بینش تجاری را می‌سازند. شرکت‌ها قبل از اینکه شروع به تجزیه و تحلیل کنند و بر اساس بینشی که به دست می‌آورند تصمیم‌گیری کنند، باید منابع داده‌های‌شان را به ترتیبی درست سازماندهی کنند. در غیر این صورت عملکرد آنها برپایه‌ی اطلاعات نادرستی خواهد بود.
مشکل دیگری که ممکن است با آن رو به رو شوید خودِ ابزار‌های BI هستند. هر چند این ابزارها امروزه جای بیشتری برای پیشرفت دارند و کار با آنها برای کاربران آسان‌تر از قبل شده است. هسته‌ی اصلی BI به جای آن که مدیریت روند باشد، هنوز بر پایه‌ی گزارش است؛ البته این وضعیت کم‌کم شروع به تغییر کرده‌ است. مراقب باشید مفهوم هوش کسب‌وکار را با تجزیه‌ و تحلیل تجاری اشتباه نگیرید.
سومین مانعی که بر سر راه استفاده از BI برای دگرگون کردن روند کسب و کار وجود دارد عدم شناخت بیشتر شرکت‌ها از روند کسب و کارشان است. (یا حداقل آن قدر نیست که بتواند به آنها در بهبود این روند کمک کند) شرکت‌ها باید در مورد روندی که انتخاب می‌کنند احتیاط زیادی به خرج دهند. اگر این روند تأثیر مستقیمی بر درآمد نداشته باشد یا کسب‌وکار در جهت استاندارد کردن این روند در شرکت نباشد، ممکن است کل کار BI مختل شود. شرکت‌ها باید همه‌ی فعالیت‌هایی که روند یک کسب و کار مشخص را شکل می‌دهند درک کنند، چگونگی انتقال داده در روندهای مختلف و چگونگی انتقال داده بین کاربران مختلف را درک کنند و بدانند که هر فرد چطور از آنها استفاده می‌کند تا نقش خود را در این روند ایفا کند. اگر آنها می‌خواهند از طریق BI نحوه‌ی کار افراد را بهبود ببخشند باید همه‌ی این موضوعات را قبل از شروع پروژه‌ی BI شناسایی و تحلیل کنند.


@aryavisions

سیستم BI

@aryavisions

محیط نرم افزار جدید Visual Spark Studio

@aryavisions

Visual Spark Studio

یکی از محبوب ترین فریمورک کلان داده در امروز است. با وجودی که محبوبیت Spark به طور قابل ملاحظه ای افزایش یافته است، عدم دسترسی به استعداد Spark تاثیر بیشتری بر Spark دارد.
با توجه به چشم انداز فناوری اطلاعات به سرعت در حال تغییر، Spark خود در حال تکامل است و توسعه دهندگان و شرکت های فناوری اطلاعات می توانند چالش برانگیز برای دستیابی به سرعت آن باشند. هرچند که دسترسی آزاد منبع Spark به یک پلتفرم آسان برای آزمایش کمک می کند، منحنی و نیاز به توسعه گسترده، ادغام و تلاش تست، برای ساخت برنامه های تولید جرقه آماده است.

ویژوال اسپارک استودیو یک راه حل برای پیچیدگی های درگیر در ساخت برنامه های کاربردی کلاس Enterprise در جرقه برای هر دو حالت دسته ای و جریان است. این یک محصول سبک وزن آزاد و سریع است که هر کسی می تواند آن را دانلود و استفاده کند تا یادگیری و استفاده از جرقه خود را تسریع کند.

@aryavisions

اسلایدهای ارائه اینترنت اشیا و کاربرد آن در سلامت و پزشکی
https://www.slideshare.net/mahdinasiri/iot-in-the-healthcare/mahdinasiri/iot-in-the-healthcare
https://news.1rj.ru/str/dataanalysis
@aryavisions

فرصت شغلی توسعه‌دهنده سرور شرکت #تپسل

*تجربه کار یا پروژه در حوزه Big Data
*مسلط به زبان جاوا

بستر ارتباطی: Jobs@tapsell.ir

@dataanalysis

سال نو رو به تمامی اساتید و متخصصین علم‌داده کشور تبریک عرض می‌نماییم!

ان‌شالله سالی همراه با موفقیت و سلامتی برای همه عزیزان و بزرگواران🙏🌺