هدوپ ورژن ۳

تغییرات عمده در Apache Hadoop
ورژن 3.0.0-alpha1

@BigDataTechnology

🔵 Minimum required Java version increased from Java 7 to Java 8
🔵 Support for erasure encoding in HDFS
🔵 YARN Timeline Service v.2
🔵 Shell noscript rewrite
🔵 MapReduce task-level native optimization
🔵 Support for more than 2 NameNodes.
🔵 Default ports of multiple services have been changed
🔵 Support for Microsoft Azure Data Lake filesystem connector
🔵 Intra-datanode balancer
🔵 Reworked daemon and task heap management

 http://hadoop.apache.org/docs/r3.0.0-alpha1/


@BigDataTechnology

Hadoop with Python
#معرفی_کتاب

با سلام و احترام
ساعات پاسخ گویی به سوالات و نظرات شما عزیزان، فقط روز چهارشنبه ساعت ۲۲ الی ۲۳ از طریق تلگرام امکان پذیر است.
با کمال پوزش به پیام های خارج از زمان تعیین شده پاسخ داده نمی شود.

با تشکر
گلناز اردشیری


معرفی کلان داده ها و فناوری های مرتبط

📞ارتباط با ادمین :
فقط روز چهارشنبه ساعت ۲۲ الی ۲۳
@Golnazardeshiri
-
https://telegram.me/BigDataTechnology

راه اندازی کلاستر هدوپ ورژن ۳

Hadoop Cluster Setup
 (version 3.0.0 alpha 1)

@BigDataTechnology

▫Purpose
▫Prerequisites
▫Installation
▫Configuring Hadoop in Non-Secure Mode
▫Configuring Environment of Hadoop Daemons
▫Configuring the Hadoop Daemons
▫Monitoring Health of NodeManagers
▫Slaves File
▫Hadoop Rack Awareness
▫Logging
▫Operating the Hadoop Cluster
▫Hadoop Startup
▫Hadoop Shutdown
▫Web Interfaces

@BigDataTechnology


http://hadoop.apache.org/docs/r3.0.0-alpha1/hadoop-project-dist/hadoop-common/ClusterSetup.html

دیتاست علوم کامپیوتر در توییتر

در دنیای امروزی افراد  زمان بیشتری را در شبکه‌های اجتماعی سپری می‌کنند، به همین علت این شبکه‌ها معیاری برای مطالعه رفتار و اندیشه‌های افراد محسوب می‌شوند. یکی از این شبکه‌ها که جای خود را بین عموم مردم جهان باز کرده است شبکه اجتماعی توییتر است. این شبکه اجتماعی به عنوان یکی از پرجمعیت‌ترین شبکه‌های اجتماعی جهان شناخته می‌شود و روزانه حجم وسیعی از پیام‌‌ها در این شبکه رد و بدل می‌شود که به طبع آن شاهد تبادل اندیشه‌ها خواهیم بود. دانشمندان رشته‌های مختلف نیز برای ارتباط با محققان دیگر،  تبادل نظر حول مقالات و یا به اشتراک گذاری آن‌ها و به دست آوردن اطلاعات مربوطه در حوزه مورد علاقه‌شان از این شبکه‌ی اجتماعی استفاده می‌کنند. پیدا کردن جوامع رشته‌های مختلف در شبکه‌های اجتماعی جذابیت خاصی برای محققان دارد.

این مجموعه داده شامل ۹۸۹۵۲۹ توییت از ۶۲۷۱ کاربر فعال در حوزه علوم کامپیوتر است که در سال ۲۰۱۴ جمع‌آوری شده است و شامل موارد زیر است :

▫زمان توییت
▫شناسنده توییت
▫شناسنده کاربر
▫لینک

نمونه‌هایی از قابلیت‌های استفاده‌ی این دیتاست:

▫شناسایی جامعه مهندسان کامپیوتر

لینک دریافت:
 http://www.datapool.ir/beta/2016/10/29/computer-scientists/

مقاله  تحلیل یک میلیارد داده تاکسی های نیویورک با استفاده از PostgreSQL

در رابطه با معماری های مختلف آزمایش شده برای کوئری گرفتن از یک میلیارد داده، سرعت بسیار بالای الاستیک سرچ نسبت به بقیه موارد است که در حد چند ثانیه کوئری ها را جواب داده است و بقیه در حد چند دقیقه . البته به خاطر محدودیت های سخت افزاری ، حجم فیلدهای رکوردها را برای الاستیک پایین آورده بودند اما با این وجود، نتیجه خیلی متفاوت بوده است .

برای مشاهده جزئیات مقاله به لینک زیر مراجعه فرمایید.

 http://www.bigdata.ir/1395/02/%D9%BE%D8%B1%D8%AF%D8%A7%D8%B2%D8%B4-%DB%8C%DA%A9-%D9%85%DB%8C%D9%84%DB%8C%D8%A7%D8%B1%D8%AF-%D8%AF%D8%A7%D8%AF%D9%87-%D8%AA%D8%A7%DA%A9%D8%B3%DB%8C-%D9%87%D8%A7%DB%8C-%D9%86%DB%8C%D9%88%DB%8C%D9%88/

اولین کارگاه عملی آپاچی هدوپ

اطلاعات بیشتر و ثبت نام : http://hadoop.ir/course/register/

www.hadoop.ir
@hadoop

سرفصل های اولین کارگاه عملی آپاچی هدوپ

اطلاعات بیشتر و ثبت نام : http://hadoop.ir/course/register/

مرجع هدوپ ایران
www.hadoop.ir
@hadoop

اولین دوره عملی آپاچی هدوپ توسط مرجع هدوپ ایران(شرکت مهندسی نرم افزار ایده پردازان فرافکر) با همکاری سازمان فناوری اطلاعات ایران و وزارت ارتباطات و فناوری اطلاعات در تاریخ 13 و 14 آذرماه 1395 در شهر تهران برگزار می شود. لازم به ذکر است پس از برگزاری دوره به شرکت کنندگان گواهی حضور اعطا می شود.

اطلاعات بیشتر و ثبت نام : http://hadoop.ir/course/register/

مرجع هدوپ ایران
www.hadoop.ir
@hadoop

با سلام و احترام .

لینک کانال ها و گروه های مفید در حوزه کلان داده ها و علم داده تقدیم شما عزیزان میگردد.

#BigData
#DataScience
#Hadoop
#Mining
〰〰〰〰〰〰〰〰〰〰〰〰〰

لیست کانال ها :

▫کانال معرفی کلان داده ها و فناوری مرتبط
https://telegram.me/BigDataTechnology

▫کانال مرجع هدوپ ایران
https://telegram.me/hadoop

▫کانال آموزش کلان داده ها
https://telegram.me/SMAC_MGMT

▫کانال داده کاوی و علم داده
https://telegram.me/dataanalysis
〰〰〰〰〰〰〰〰〰〰〰〰〰

لیست گروه ها:

🔹گروه مرجع هدوپ ایران
https://telegram.me/joinchat/An8qwj6CGwg0WS-2dTi-Dw

🔹گروه بیگ دیتا
https://telegram.me/joinchat/A7SgeDuzptdo9zhyJV7MVA

🔹گروه کلان داده و رایانش ابری
https://telegram.me/joinchat/BIxqUTuxePTm6zEaankjIw

🔹گروه علم داده
https://telegram.me/joinchat/CVZpEj0EaiNQ47bY-4ko5g

🔹گروه علم داده در سلامت
https://telegram.me/joinchat/CVZpEj4Rtpue1yJC78EImA

🔹گروه متن کاوی و وب کاوی
https://telegram.me/joinchat/BCuwFj7gB2aeH_76bNz5dQ

🔹گروه دیتا پول
https://telegram.me/joinchat/BEtl7zy6mdKn6qOsgGYMfg
〰〰〰〰〰〰〰〰〰〰〰〰〰

دانلود مستند big data

The Human Face of Big Data 2014

با ظهور سریع دستگاه های دیجیتال، یک نیروی نامرئی و غیرقابل توقف در حال تغییر زندگی بشر می باشد. "اطلاعات بزرگ"، کلمه ای که سال ها پیش به ندرت آن را به زبان می آوردیم اما حالا از زمانی که بیدار میشویم تا زمانی که آخر شب به رختخواب برویم مدام بر ما حاکم است...

کیفیت: 720p HDTV
محصول کشور: آمریکا
ستارگان: Lisa Coronado, Lexie Butler, Miles Dewar
کارگردان: Sandy Smolan
ژانر: مستند

لینک دانلود:
http://3tinyz.com/dl/t/The.Human.Face.of.Big.Data.2014.720p.HDTV.TinyMoviez.mkv?hash=c9feacbccc3da9ae4e9b9172f97980c8_200883_38301_3

HPE (Hewlett Packard Enterprise)

▶Big Data Platform

HPE Vertica Advanced Analytics:

Vertica provides blazing fast speed (queries run 50-1,000x faster), petabyte-scale (store 10-30x more data per server), and openness and simplicity (use any BI/ETL tools, Hadoop, etc.) — all at 30% of the cost of traditional data warehouse solutions.


🔽Highlights

• Advanced SQL analytics at scale

• Next-generation predictive analytics

• Large scale machine learning

• Real-time clickstream and log analytics

• Secure data lake

• Native data exploration

• Open data format

• YARN-ready to support next generation Hadoop deployments

• Integrated data governance

• Native support for MapR, Hortonworks, and Cloudera

@BigDataTechnology
#معرفی_پلتفرم


 http://www8.hp.com/us/en/software-solutions/big-data-platform-haven/

جاده ای برای طی کردن در «کلان-داده» با استفاده از HPE در فایل زیر در دسترس است:
@SQL_DataMining

Data Science Workloads in Visual Studio 2017 RC

امکانات جدید ویژوال استودیو 2017 در علم داده
@BigDataTechnology

امکانات جدید ویژوال استودیو 2017  RC در حوزه ی Data storage و processing :


Big Data Storage and Advanced Analytics with :

✅SQL
✅HDInsight (Hadoop/Spark)
✅Azure Machine Learning


 https://blogs.msdn.microsoft.com/visualstudio/2016/11/18/data-science-workloads-in-visual-studio-2017-rc/

@BigDataTechnology

امکانات جدید ویژوال استودیو 2017  RC در حوزه ی Data Science
#analyze
#build_models
#create_smart_apps

▶Python Tools for Visual Studio Desktop, Web, Scientific, Data Science/ML

▶R Tools for Visual Studio – Primarily Stats and Data Science/ML

▶F# – A functional-first .Net language suited for a variety of data processing tasks

 https://blogs.msdn.microsoft.com/visualstudio/2016/11/18/data-science-workloads-in-visual-studio-2017-rc/

@BigDataTechnology

ترم دل است و عشق پیداست
قصد و نیت ساختن فرداست
دانشجوی وطن آریایی
بتازیم و بسازیم که خدا با ماست

۱۶ آذر بر دانشجویان کانال BigData گرامی باد

گلناز اردشیری

@BigDataTechnology

عکس دست جمعی شرکت کنندگان دوره عملی آموزش هدوپ در پژوهشگاه ارتباطات و فناوری اطلاعات ایران

با ما همراه باشید

مرجع هدوپ ایران
www.hadoop.ir
@hadoop