जानिए ! Hadoop क्या है? और यह कैसे काम करता है

Scenario 1: आज किसी भी  world bank  में हर महीने लेन देन करने वाले 100 milion से अधिक customer हे 

Scenario 2: आज लगभग हर एक E – commerce website और social – networking website customer behaviour के data को track करती हे 

ये वह जगह हे Big data मदद करता हे , आज हम इस  artical में hadoop का परिचय करवायेंगे . hadoop एक वह तकनीक हे जिसके माध्यम से हम बड़े data पर  parallel processing  करने की  capability प्रदान करवाता हे |

Hadoop gives us capability to deal with the complexities of high volume, velocity and variety of data

hadoop के अलावा कई अन्य platform हे जिसके माध्यम से हम big data पर processing कर सकते हे जैसे –  NoSQL (MongoDB being the most popular),

Introduction to Hadoop –

hadoop एक open source  project प्रणाली हे जो कि बड़े डाटा पर काम करने के लिए Framework provide करवाती हे |

Following are the challenges I can think of in dealing with big data :-

वह कारण किसके वजह के hadoop का अस्तित्व आया –

1 . high speed or capability वाले  server की अधिक लागत होना

  1. बड़े data पर काम करने में अधिक समय लगना
  2. बड़े डाटा पर query का कमजोर होना
  3. सबसे महत्वपूर्ण कमी ये थी की यदि सबसे last stage में कोईकमी हो ती हे तो उसे find कारण मुश्किल था

इन कमियों के कारण hadoop का विकास हुआ –

1 . hadoop आमतोर पर commodity hardware पर कार्य करता हे और  डेटा की विश्वसनीयता सुनिश्चित करने के लिए हे data की Duplicate copy बनाता हे हम hadoop का प्रयोग करके 4500 machines को एक साथ जोड़ सकते हे |

  1. hadoop प्रोसेस को टुकडो में बाटता हे तथा उनका parallel execution करता हे , hadoop का उपयोग करके अधिकतम लगभग 25 Petabyte के  data पर processing की जा सकती हे |
  2. hadoop प्रत्येक लेवल पर data-set का बैकअप बनाता हेयह व्यक्तिगत विफलता के मामले में process loss  और data-loss  से बचने के लिए डुप्लिकेट डेटासेट पर query execute   करता है। ये feature hadoop को सबसे महत्वपूर्ण बनाता हे
  3. hadoop में किसी भी programming language  में कोडिंग करना सरल हे parallel processing  को सक्षम करने के लिए आपको केवल एक क्वेरी बनाने के बारे में सोचने का तरीका बदलने की जरूरत है।

  Required Skills for Hadoop Developers

A Hadoop Developer is responsible for the actual coding or programming of Hadoop applications. This role is similar to that of a Software Developer.

  • Knowledge in Hadoop – Kinda Obvious!!
  • back-end प्रोग्रामिंग भाषा का ज्ञान होना चाहिए जैसे – java , JS, Node.js and OOAD

·         उच्च प्रदर्शन, विश्वसनीय और रखरखाव कोड लिखना·         डेटाबेस structures, principles और practice का अच्छा ज्ञान होना चाहिए।

  • Pig Latin scripts. लिखने की क्षमता

·         Flume, Sqoop जैसे data loading टूल के साथ करना ·

 

 

Sharing is caring!

Loading...
One Comment

Add a Comment

Your email address will not be published. Required fields are marked *

error: Content is protected !!