✅ صنعت بیمه بریتانیا اولویت بیگ دیتا در سال ۲۰۱۶
تحقیقات شرکت علوم داده Teradata نشان می دهد که ۸۲ درصد از شرکت های بیمه انگلستان با گردش مالی بیش از ۵۰۰ میلیون دلار، یک اولویت استراتژیک برای بیگ دیتا در سال ۲۰۱۶ می باشند. در این تحقیقات، ۳۰۰ نفر از تصمیم گیرندگان ارشد صنعت بیمه، از کشورهای بریتانیا، فرانسه و آلمان همکاری دارند.

🌎: http://mfta.ir/data-science/id=13517

🆔: @mfta_ir

بعد از هر اتفاق سختی که ازش جون سالم در ببری قوی تر از قبل خواهی بود.💪

با درود فراوان به دوستان بیگ دیتا.🌷

قابل توجه دوستان ساعت پاسخگویی به سوالات شما عزیزان به ۱۹🕖 الی ۲۱ 🕘 روزهای غیر تعطیل تغییر یافت.

🙏خواهشمندم فقط در ساعات ذکر شده به ID شخصی من پیام ارسال فرمایید و فقط سوالات پیرامون بیگ دیتا مطرح شود.🙏

در غیر این صورت،با کمال پوزش به پیام شما پاسخ داده نمی شود.📵

همچنین علاقمندانی که مایل هستن فیلم های آموزشی :👇👇👇👇

➖ #Cassandra installation
➖ #Cassandra schema for storing
➖ #Ruby library(store and retrieve data from cassandra)
➖ #Hadoop streaming job write data into cassandra from a hadoop

دریافت کنند ،در ساعت مشخص شده عنوان مورد نظر را به ID من ارسال کنند.

موفق و پیروز باشید.🌹

با تشکر از توجه شما.

گلناز اردشیری

@BigDataTechnology

8 مارس ، روز جهانی زن بر تمام بانوان گروه مبارک باد.

مجموعه ویدیوهای ارائه دکتر فرزاد خندان در کافه آی تی با موضوع داده های عظیم - از سایت آپارات

ویدیوهای جلسه دوم:

BIG DATA SECURITY

http://www.vormetric.com/data-security-solutions/use-cases/big-data-security

کیودو – لایه ذخیره ساز جدید هدوپ
#kudu

@BigDataTechnology

کیودو (Kudu) به عنوان یک لایه ذخیره ساز جدید و جایگزین HDFS توسط شرکت کلودارا (Cloudera) بعد از سه سال تحقیق و توسعه ، به عنوان یک پروژه متن باز به بنیاد آپاچی پیشنهاد و توسط آپاچی به عنوان یک پروژه نوپا (در حال رشد – incubating) پذیرفته شده است .

همانطور که می دانید، HDFS به عنوان لایه اصلی ذخیره سازی داده ها در هدوپ، یک مکانیزم ترتیبی در خواندن اطلاعات دارد و بازیابی یک داده خاص در یک کلاستر از رایانه ها، عملی زمان بر است . برای رفع این مشکل، از HBASE به عنوان یک رهیافت جایگزین ذخیره سازی داده ها در هدوپ استفاده می کنیم که به ما اجازه دسترسی تصادفی و سریع به یک رکورد اطلاعاتی را می دهد. اما HBASE هم به عنوان یک بانک اطلاعاتی سطر گسترده توزیع شده، امکان پردازش دسته ای داده ها را با سرعت بالا فراهم نمی کند و معمولاً ترکیب این دو روش برای یک راه حل کامل تحلیل و بازیابی اطلاعات در سازمانها و شرکتها استفاده میشود.

کیودو در این بین، برای ایجاد یک راه حل میانه، ایجاد و توسعه داده شده است و روشی را برای ذخیره داده ها پیشنهاد می کند که هم به سرعت می تواند یک رکورد را در بین میلیون ها رکورد پیدا کند و هم پردازش دسته ای و گروهی داده ها را برای ما با سرعت و کارآیی بالا به ارمغان می آورد و از سرورهای امروزی که رم بالایی دارند هم حداکثر استفاده را انجام می دهد. (تا حد امکان پردازش ها را در حافظه انجام می دهد)

برای نیل به این هدف، کلوداِرا به جای بهبود HDFS یک سیستم ذخیره سازی جدید را از پایه طراحی کرده است که به طور مستقل می تواند مورد استفاده عملیات پردازش داده قرار گیرد. کیودو یک فضای ذخیره سازی با قابلیت دسترسی تصادفی به داده ها و رابطی شبیه به کاساندرا و HBASE و Google BigTable است یعنی برای ذخیره داده ها از مدل جدولی استفاده می کند و امکان توزیع داده ها را بین صدها رایانه در یک کلاستر به ما می دهد اما  بر خلاف HBASE و Google Big Table به جای وابسته بودن به HDFS از سیستم فایل محلی هر رایانه استفاده می کند و بر خلاف کاساندرا، الگوریتم Raft consensus algorithm  را برای تضمین یکپارچگی و جامعیت داده ها به کار می برد. الگوریتم فشرده سازی داده های آن هم با این رهیافتها، متفاوت است .


http://www.bigdata.ir/1394/12/kudu-%DA%A9%DB%8C%D9%88%D8%AF%D9%88-%D9%84%D8%A7%DB%8C%D9%87-%D8%B0%D8%AE%DB%8C%D8%B1%D9%87-%D8%B3%D8%A7%D8%B2-%D8%AC%D8%AF%DB%8C%D8%AF-%D9%87%D8%AF%D9%88%D9%BE/

مجلس گرافی – یک کار مهندسی داده حرفه ای به زبان فارسی

http://www.bigdata.ir/1394/11/%D9%85%D8%AC%D9%84%D8%B3-%DA%AF%D8%B1%D8%A7%D9%81%DB%8C-%DB%8C%DA%A9-%DA%A9%D8%A7%D8%B1-%D9%85%D9%87%D9%86%D8%AF%D8%B3%DB%8C-%D8%AF%D8%A7%D8%AF%D9%87-%D8%AD%D8%B1%D9%81%D9%87-%D8%A7%DB%8C-%D8%A8/

معرفی Apache Zookeeper

در گذشته نرم افزارها دارای یک برنامه بود و برروی یک کامپیوتر اجرا می شد و یک CPU فعالیت های آن را پردازش می کرد. امروزه همه چیز عوض شده ، دنیا دنیای BigData و Cloud computing است ، نرم افزارها از برنامه های نامستقل فراوانی ساخته می شوند که برروی کامپیوترهایی کار می کنند که از لحاظ مکان جغرافیایی برای ما اهمیت ندارند که کجا هستند.

هماهنگ کردن عملیات این برنامه های نامستقل به مراتب سخت تر از نوشتن یک برنامه و اجرایش برروی یک ماشین است. برای برنامه نویسان ساده است که مدت زیادی درگیر منطق هماهنگسازی شوند و زمان کمتری وقت برای تولید برنامه اصلی کنند یا برعکس زمان کوتاهی صرف هماهنگسازی کنند و مابقی زمان را صرف تولید محصولشان کند؟ منطقا گزینه دوم ایدال تمام برنامه نویسان می باشد.

ساختن یک سیستم توزیع شده مشکل است ، مردم در طول روز از نرم افزارهای زیادی به صورت سیستم توزیع شده استفاده می کنند و به هر حال به نظر نمی رسد ما در آینده نزدیک وابستگی خود را از اینگونه سیستمها کم کنیم.

Apache Zookeeper برای ساختن سیستمهای توزیع شده قوی طراحی شده با هدف آنکه برنامه نویسان بتوانند با رابط کاربری ساده و قابل فهم نیازهای خود را برطرف نماید.

Zookeeper یک پروژه نرم افزاری از بنیاد نرم افزاری آپاچی است که سرویسهایی با پیکربندی متن باز را فراهم و همچنین از سرویسهای همگام سازی استفاده می کند.

Zookeeper در گذشته یکی از زیر پروژه های هدوپ بود ولی هم اکنون یکی از پروژه های اصلی هدوپ محسوب می شود.

معماری Zookeeper از سیستمهایی که دارای افزونگی سرویسی می باشند در سطح بالایی پشتیبانی می کند. بنابراین در صورت fail شدن zookeeper محلی clientها می توانند از zookeeper leader دیگری سرویس بخواهند . گره های zookeeperداده هایشان را شبیه فایل سیستم یا ساختار داده ای درختی در داخل name space سلسله مراتبی ذخیره می کنند. clientها می توانند از نودهای دیگر بخوانند و بنویسند در این صورت آنها دارای سرویس اشتراک گذاری با پیکربندی یکسان هستند.

ZooKeeper توسط کمپانیهایی از قبیل Rackspace,yahoo,odnoklassniki,eBay و همچنین به عنوان open source سیستم های جستجو مانند شرکت Solr  استفاده می کنند.

http://hadoop.ir/%D9%85%D8%B9%D8%B1%D9%81%DB%8C-apache-zookeeper/