在我以前的文章中，我展示了如何設置一個完整的基于Maven的項目，以用Java創(chuàng)建Hadoop作業(yè)。 當然并沒有完成，因為它缺少單元測試部分。 在本文中，我將展示如何將MapReduce單元測試添加到我之前開始的項目中。 對于單元測試，我使用MRUnit框架 。

• • 將必要的依賴項添加到pom

將以下依賴項添加到pom：

<dependency><groupId>org.apache.mrunit</groupId><artifactId>mrunit</artifactId><version>1.0.0</version><classifier>hadoop1</classifier><scope>test</scope> </dependency>

這將使MRunit框架可用于該項目。

• • 添加單元測試以測試Map Reduce邏輯

該框架的使用非常簡單，尤其是在我們的業(yè)務案例中。 因此，如果需要的話，我將僅展示單元測試代碼和一些注釋，但是我認為使用它非常明顯。 映射程序“ MapperTest”的單元測試：

package net.pascalalma.hadoop;import org.apache.hadoop.io.Text; import org.apache.hadoop.mrunit.mapreduce.MapDriver; import org.junit.Before; import org.junit.Test; import java.io.IOException;/*** Created with IntelliJ IDEA.* User: pascal*/ public class MapperTest {MapDriver<Text, Text, Text, Text> mapDriver;@Beforepublic void setUp() {WordMapper mapper = new WordMapper();mapDriver = MapDriver.newMapDriver(mapper);}@Testpublic void testMapper() throws IOException {mapDriver.withInput(new Text("a"), new Text("ein"));mapDriver.withInput(new Text("a"), new Text("zwei"));mapDriver.withInput(new Text("c"), new Text("drei"));mapDriver.withOutput(new Text("a"), new Text("ein"));mapDriver.withOutput(new Text("a"), new Text("zwei"));mapDriver.withOutput(new Text("c"), new Text("drei"));mapDriver.runTest();} }

實際上，此測試類甚至比Mapper實現本身簡單。 您只需定義映射器的輸入和預期的輸出，然后讓配置的MapDriver運行測試。 在我們的案例中，Mapper沒有做任何特定的事情，但是您會看到設置測試用例很容易。 為了完整起見，這里是Reducer的測試類：

package net.pascalalma.hadoop;import org.apache.hadoop.io.Text; import org.apache.hadoop.mrunit.mapreduce.ReduceDriver; import org.junit.Before; import org.junit.Test; import java.io.IOException; import java.util.ArrayList; import java.util.List;/*** Created with IntelliJ IDEA.* User: pascal*/ public class ReducerTest {ReduceDriver<Text, Text, Text, Text> reduceDriver;@Beforepublic void setUp() {AllTranslationsReducer reducer = new AllTranslationsReducer();reduceDriver = ReduceDriver.newReduceDriver(reducer);}@Testpublic void testReducer() throws IOException {List<Text> values = new ArrayList<Text>();values.add(new Text("ein"));values.add(new Text("zwei"));reduceDriver.withInput(new Text("a"), values);reduceDriver.withOutput(new Text("a"), new Text("|ein|zwei"));reduceDriver.runTest();} }

• • 運行單元測試

使用Maven命令“ mvn clean test”，我們可以運行測試：

有了單元測試，我會說我們已經準備好構建項目并將其部署到Hadoop集群，我將在下一篇文章中進行描述。

參考： The Pragmatic Integrator博客上的JCG合作伙伴 Pascal Alma 對Java Hadoop作業(yè)進行了單元測試 。

翻譯自: https://www.javacodegeeks.com/2013/09/unit-testing-a-java-hadoop-job.html

總結

以上是生活随笔為你收集整理的单元测试Java Hadoop作业的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。