以下是MapReduce / Java的介紹
MapReduce 是 Google 提出的一個軟體架構論文與實作,用於大規模 資料集(大於1TB)的平行運算。概念 "Map(映射)" 和 "Reduce(化簡)",和他們的主要思想,都是從函數式程式語言借來的,還有從向量程式語言借來的特性。當前的軟體實作是指定一個 Map(映射)函數,用來把一組鍵值(Keys)對映射成一組新的鍵值(Values)對,指定共時同作的 Reduce(化簡)函數,用來保證所有映射的鍵值對中的每一個共享相同的鍵組。
以台股舉例:
我如果要寫一個股票分析的小軟體,找出強勢股,就是找出收盤價超過5日及20日均價的股票有哪些,資料有
股票代號 股票名稱 收盤價 五日均價 20日均價
那 Map(映射)是要寫什麼函數 然後產生什麼鍵值(Keys)並對映射成鍵值(Values)對,最後
Reduce(化簡)函數
我對 1.map要寫什麼函數?最後reduce要寫什麼化簡函數?
2.鍵值(Keys) 鍵值(Values)對 該填入什麼資料?
請教大大,謝謝
MapReduce 是 Google 提出的一個軟體架構論文與實作,用於大規模 資料集(大於1TB)的平行運算。概念 "Map(映射)" 和 "Reduce(化簡)",和他們的主要思想,都是從函數式程式語言借來的,還有從向量程式語言借來的特性。當前的軟體實作是指定一個 Map(映射)函數,用來把一組鍵值(Keys)對映射成一組新的鍵值(Values)對,指定共時同作的 Reduce(化簡)函數,用來保證所有映射的鍵值對中的每一個共享相同的鍵組。
以台股舉例:
我如果要寫一個股票分析的小軟體,找出強勢股,就是找出收盤價超過5日及20日均價的股票有哪些,資料有
股票代號 股票名稱 收盤價 五日均價 20日均價
那 Map(映射)是要寫什麼函數 然後產生什麼鍵值(Keys)並對映射成鍵值(Values)對,最後
Reduce(化簡)函數
我對 1.map要寫什麼函數?最後reduce要寫什麼化簡函數?
2.鍵值(Keys) 鍵值(Values)對 該填入什麼資料?
請教大大,謝謝