مجلس گرافی – یک کار مهندسی داده حرفه ای به زبان فارسی

http://www.bigdata.ir/1394/11/%D9%85%D8%AC%D9%84%D8%B3-%DA%AF%D8%B1%D8%A7%D9%81%DB%8C-%DB%8C%DA%A9-%DA%A9%D8%A7%D8%B1-%D9%85%D9%87%D9%86%D8%AF%D8%B3%DB%8C-%D8%AF%D8%A7%D8%AF%D9%87-%D8%AD%D8%B1%D9%81%D9%87-%D8%A7%DB%8C-%D8%A8/

معرفی Apache Zookeeper

در گذشته نرم افزارها دارای یک برنامه بود و برروی یک کامپیوتر اجرا می شد و یک CPU فعالیت های آن را پردازش می کرد. امروزه همه چیز عوض شده ، دنیا دنیای BigData و Cloud computing است ، نرم افزارها از برنامه های نامستقل فراوانی ساخته می شوند که برروی کامپیوترهایی کار می کنند که از لحاظ مکان جغرافیایی برای ما اهمیت ندارند که کجا هستند.

هماهنگ کردن عملیات این برنامه های نامستقل به مراتب سخت تر از نوشتن یک برنامه و اجرایش برروی یک ماشین است. برای برنامه نویسان ساده است که مدت زیادی درگیر منطق هماهنگسازی شوند و زمان کمتری وقت برای تولید برنامه اصلی کنند یا برعکس زمان کوتاهی صرف هماهنگسازی کنند و مابقی زمان را صرف تولید محصولشان کند؟ منطقا گزینه دوم ایدال تمام برنامه نویسان می باشد.

ساختن یک سیستم توزیع شده مشکل است ، مردم در طول روز از نرم افزارهای زیادی به صورت سیستم توزیع شده استفاده می کنند و به هر حال به نظر نمی رسد ما در آینده نزدیک وابستگی خود را از اینگونه سیستمها کم کنیم.

Apache Zookeeper برای ساختن سیستمهای توزیع شده قوی طراحی شده با هدف آنکه برنامه نویسان بتوانند با رابط کاربری ساده و قابل فهم نیازهای خود را برطرف نماید.

Zookeeper یک پروژه نرم افزاری از بنیاد نرم افزاری آپاچی است که سرویسهایی با پیکربندی متن باز را فراهم و همچنین از سرویسهای همگام سازی استفاده می کند.

Zookeeper در گذشته یکی از زیر پروژه های هدوپ بود ولی هم اکنون یکی از پروژه های اصلی هدوپ محسوب می شود.

معماری Zookeeper از سیستمهایی که دارای افزونگی سرویسی می باشند در سطح بالایی پشتیبانی می کند. بنابراین در صورت fail شدن zookeeper محلی clientها می توانند از zookeeper leader دیگری سرویس بخواهند . گره های zookeeperداده هایشان را شبیه فایل سیستم یا ساختار داده ای درختی در داخل name space سلسله مراتبی ذخیره می کنند. clientها می توانند از نودهای دیگر بخوانند و بنویسند در این صورت آنها دارای سرویس اشتراک گذاری با پیکربندی یکسان هستند.

ZooKeeper توسط کمپانیهایی از قبیل Rackspace,yahoo,odnoklassniki,eBay و همچنین به عنوان open source سیستم های جستجو مانند شرکت Solr  استفاده می کنند.

http://hadoop.ir/%D9%85%D8%B9%D8%B1%D9%81%DB%8C-apache-zookeeper/

The internet of things and big data: Unlocking the power

The IoT will massively increase the amount of data available for analysis by all manner of organisations. However, there are significant barriers to overcome before the potential benefits are fully realised.


http://www.zdnet.com/article/the-internet-of-things-and-big-data-unlocking-the-power/

Ten examples of IoT and big data working well together


1. UPS

2. BARCELONA, SPAIN

3. VIRGIN ATLANTIC

4. JOHN DEERE

5. TEMPUTECH

6. DISNEY WORLD MAGICBAND

7. ALEX AND ANI

8. CLERMONT-FERRAND UNIVERSITY HOSPITAL

9. KING'S HAWAIIAN

10. BC HYDRO


http://www.zdnet.com/article/ten-examples-of-iot-and-big-data-working-well-together/

Get The Kudu Quickstart VM

➡️Prerequisites
➡️Installation
➡️Load Data
➡️Read and Modify Data

👇👇👇👇
http://getkudu.io/docs/quickstart.html

Integration with the Hadoop Ecosystem

#kudu

Kudu was designed to fit in with the Hadoop ecosystem, and integrating it with other data processing frameworks is simple. You can stream data in from live real-time data sources using the Java client, and then process it immediately upon arrival using Spark, Impala, or MapReduce. You can even transparently join Kudu tables with data stored in other Hadoop storage such as HDFS or HBase.

Kudu is a good citizen on a Hadoop cluster: it can easily share data disks with HDFS DataNodes, and can operate in a RAM footprint as small as 1 GB for light workloads.


➡️View an example of a MapReduce job on Kudu⬅️

https://github.com/apache/incubator-kudu/blob/master/java/kudu-client-tools/src/main/java/org/kududb/mapreduce/tools/RowCounter.java

@BigDataTechnology

مقاله جدید مرجع هدوپ ایران:

«امنیت در هدوپ - بخش اول»

در این مقاله قصد داریم به بررسی امنیت در هدوپ بپردازیم و روش ها و راه کارهای آنرا بررسی کنیم. در ابتدا می بایست به نحوه نگاه هدوپ به مسئله امنیت بپردازیم.

هدوپ به صورت پیش فرض بدون هیچ ساز و کار امنیتی و بدون اعتبارسنجی اجرا می شود و هدوپ فرض را بر این قرار می دهد که "همه چی آرومه". در واقعیت هیج وقت اینطور نیست و بلاخره هدوپ در محیط های واقعی مورد استفاده قرار می گیرد و همیشه در محیط آزمایشگاهی امن نخواهیم ماند. در واقع کاربری که می خواهد با هدوپ کار کند کافی است نام کاربری خودش را به هدوپ معرفی کند و هدوپ هم (به صورت پیش فرض) فکر میکند کاربر موردنظر درست می گوید و بدون هیج اعتبارسنجی نه تنها خودش اجازه فعالیت به آن کاربر می دهد،بلکه به تمامی ماشین ها در شبکه اعلام می کند که این کاربر اجازه فعالیت دارد.

ادامه در : http://hadoop.ir/?p=629

مرجع هدوپ ایران
http://www.hadoop.ir
@hadoop

طیف یادگیری علم داده

🆔: @mfta_ir

خبرنامه هفتگی جامعه آزاد رایانش ابری ایران – 8 اسفند الی 21 اسفند 94 منتشر شد.
https://lnkd.in/dC2mwtv

۱۰ فناوری داغ بیگ دیتا
در لینک زیر، ۱۰ تا از داغ ترین فناوری های بیگ دیتا براساس تجزیه و تحلیل فورستر آمده است:👇👇👇

۱- تجزیه و تحلیل پیش بینانه: راه حل های نرم افزاری و یا سخت افزاری اجازه می دهد به شرکت ها برای کشف، ارزیابی، بهینه سازی، و استفاده از مدل های پیش بینانه با تجزیه و تحلیل منابع بیگ دیتا به منظور بهبود عملکرد کسب و کار و یا کاهش ریسک.
۲- پایگاه داده های NoSQL: کلید-مقدار، سند، و پایگاه داده نمودارها...

با مفتا همراه شوید...

🌎: http://mfta.ir/data-science/id=13876

🆔: @mfta_ir

خداوندا ، در این آخرین روزهای سال
دل مردمان این سرزمین را چنان در جویبار زلال رحمتت شستشو ده
که هر کجا تردیدی هست ایمان
هر کجا زخمی هست مرهم
هر کجا نومیدی هست امید
و هر کجا نفرتی هست عشق جای آنرا فرا گیرد.

@BigDataTechnology

با عرض سلام و احترام به اعضای کانال بیگ.
دوستان عزیز افتخاری برای بنده در سال 94 در خدمت شما سروران بودم و امیدوارم مطالب مفید قرار گرفته شده باشد.
امید است در سال جدید با انرژی و مطالب کاربردی بیشتر در خدمتتان باشم.

با توجه به فرارسیدن ایام تعطیل نوروز، پاسخ گویی به سوالات ، درخواست مقالات و فایل های تصویری آموزشی شما بزرگواران فقط تا امروز مورخ 26 اسفند 94 امکان پذیر می باشد و در سال 95 بعد از تعطیلات نوروزی در خدمت شما هستم.

لازم به ذکر است ، تمامی درخواست های ارسال فیلم آموزشی و مقالات شما عزیزان تا پایان سال جاری انجام می شود.

با تشکر از توجه شما.

گلناز اردشیری

@BigDataTechnology

#Hadoop

چند شرکت و مراکز تحقیقاتی که از Hadoop استفاده میکنند:

@BigDataTechnology

➖روزنامه New York Times برای ذخیره سازی تمام مقالات

➖فیسبوک روزانه برای آنالیز 135 ترابایت از مجموعه داده ها

➖در ژاپن Yahoo Japan برای آنالیز access log

➖همچنین DeNa از هدوپ برای آنالیز رفتاری همه ی کاربران که تعدادشان بیش از 2 میلیارد در روز است استفاده می کند.

@BigDataTechnology

دوستان عزیز بیگ دیتا با درخواست شما دوستان آموزش تصویری صفر تا صد دیتابیس NoSQL و MongoDB از طریق لینک زیر قابل دانلود می باشد :
@BigDataTechnology

➖Section 1: Course Intro
➖Section 2: The NoSQL Database
➖Section 3: Getting Started With MongoDB
➖Section 4: Working With Documents Part -1
➖Section 5: Working With Documents Part - 2
➖Section 5: Working With Documents Part - 2
➖Section 6: Node.js & MongoDB
➖Section 7: Course Summary


http://www.tahlildadeh.com/%d9%81%db%8c%d9%84%d9%85%20%d9%87%d8%a7%db%8c%20%d8%a2%d9%85%d9%88%d8%b2%d8%b4%db%8c/%d9%81%db%8c%d9%84%d9%85%20%d9%87%d8%a7%db%8c%20%d8%a2%d9%85%d9%88%d8%b2%d8%b4%db%8c%d9%81%db%8c%d9%84%d9%85-%d8%a2%d9%85%d9%88%d8%b2%d8%b4-NoSQL/%d9%81%db%8c%d9%84%d9%85-%d8%a2%d9%85%d9%88%d8%b2%d8%b4%db%8c-%d8%b5%d9%81%d8%b1-%d8%aa%d8%a7-%d8%b5%d8%af-%d8%af%db%8c%d8%aa%d8%a7%d8%a8%db%8c%d8%b3-NoSQL-%d9%88-MongoDB

آموزش اجرای Query بر روی مجموعه داده های بزرگ با سرویس Google BigQuery :

همان طور که می دانید شرکت گوگل یک سرویس Cloud برای اجرای Query بر روی مجموعه های بزرگ داده فراهم کرده است، این سرویس Google BigQuery می باشد.


➖مقدمه ای بر Google BigQuery
➖آموزش کار با Google BigQuery
➖آموزش استفاده از Google BigQuery API موجود برای زبان جاوا
➖مروری بر مسیر پیش روی Google BigQuery

@BigDataTechnology

جهت دریافت فایل آموزشی به لینک زیر مراجعه کنید.
http://www.tahlildadeh.com/%d9%81%db%8c%d9%84%d9%85%20%d9%87%d8%a7%db%8c%20%d8%a2%d9%85%d9%88%d8%b2%d8%b4%db%8c/%d9%81%db%8c%d9%84%d9%85%20%d9%87%d8%a7%db%8c%20%d8%a2%d9%85%d9%88%d8%b2%d8%b4%db%8c%d9%81%db%8c%d9%84%d9%85-%d8%a2%d9%85%d9%88%d8%b2%d8%b4-Oracle/%d9%81%db%8c%d9%84%d9%85-%d8%a2%d9%85%d9%88%d8%b2%d8%b4%db%8c-%d8%a7%d8%ac%d8%b1%d8%a7%db%8c-Query-%d8%a8%d8%b1-%d8%b1%d9%88%db%8c-%d9%85%d8%ac%d9%85%d9%88%d8%b9%d9%87-%d8%af%d8%a7%d8%af%d9%87-%d9%87%d8%a7%db%8c-%d8%a8%d8%b2%d8%b1%da%af-%d8%a8%d8%a7-%d8%b3%d8%b1%d9%88%db%8c%d8%b3-Google-BigQuery

 آموزش گام به گام مبانی اینترنت اشیا و برنامه نویسی برای این گونه وسایل بوسیله ‏iOS به زودی در کانال اینترنت اشیا....

@IoTTechnology

 ‌‎با مشاهده این دوره آموزشی با مبانی اینترنت اشیا آشنا شده ، سپس برنامه نویسی‎ iOS ‎برای کنترل برخی از این اشیا به عنوان ‏مثال رنگ یک چراغ مطالعه در طول روز در بستر اینترنت اشیا را خواهید آموخت‎. برخی از مطالب این مجموعه عبارتند از‎ : آشنایی با اینترنت اشیا‎ آشنایی با حس گرها و عملگرها‎ آموزش اتصال ورودی / خروجی‎ اتصال به دستگاه ها بوسیله‎ Wi-Fi ‎و یا بلوتوث‎ آموزش استفاده از‎ Apple iBeacon ساخت موارد دلخواه بوسیله سخت افزارهای قابل برنامه ریزی‎ مروری بر کاربردهای اینترنت اشیا ‌‎ این مجموعه آموزش ویدیویی محصول موسسه آموزشی‎ Lynda ‎است.‏

به دوستان خود اطلاع دهید.

با تشکر از توجه شما
گلناز اردشیری

منبع :دریافت فایل ها از وب سایت تحلیل داده ها

@IoTTechnology