java - Hadoop 2.2 - Combine Reducer Output -
मेरा नक्शा / कम करें फार्म का लाइनों को आउटपुट करता है
Key1 5 Key2 8 Key3 4 Key1 7 Key3 3 और मैं इन परिणामों को चाबी द्वारा मूल्यों का योग प्राप्त करने के लिए एकत्र करना चाहता हूं I तो कुछ ऐसा है: <प्री> कुंजी 1 12 (5 + 7) कुंजी 2 8 की 3 7 (4 + 3) भोले-भाले को केवल एक दूसरे से जुड़ना होगा पहले एक के पीछे काम को कम करें / कम करें, लेकिन यह अकुशल है क्योंकि आपके पास आवश्यक से दो बार अधिक I / O है, ओवरहेड आदि। इसलिए मैं इस समाधान से बचाना चाहता हूं।
इसे करने का सबसे अच्छा तरीका संभवतः जैसे मानचित्र - & gt; कम 1 - & gt; कम 2 जहां कम से कम 1 का उत्पादन कम 2 का इनपुट है। दुर्भाग्य से, ऐसा करना असंभव प्रतीत होता है (उदाहरण के लिए देखें)। मैंने भी देखा है, लेकिन इससे कोई मदद नहीं करता है क्योंकि यह कई चरणों को कम करने की अनुमति नहीं देता है। तो आप इसके बारे में कैसे जा सकते हैं? Hadoop 2.X में कुछ नया है जिसे मैं इस्तेमाल कर सकता हूं?
धन्यवाद।
मैपर बिना कई रिड्यूसर का उपयोग करना संभव नहीं है मैं सुझाव देता हूं कि आपको दोनों नक्शे को संयोजित करने की कोशिश करनी चाहिए- एक नक्शा में तर्क को कम कर देता है, नौकरी कम करें, यदि संभव हो तो। अन्यथा पहचान मैपर ही समाधान होगा।
Comments
Post a Comment