Apache Pig 用戶定義函數(shù)（UDF）

除了內(nèi)置函數(shù)之外，Apache Pig還為 User Defined Function（UDF：用戶定義函數(shù)）提供廣泛的支持。使用這些UDF，可以定義我們自己的函數(shù)并使用它們。UDF支持六種編程語言，即Java，Jython，Python，JavaScript，Ruby和Groovy。

對于編寫UDF，在Java中提供全面的支持，并在所有其他語言中提供有限的支持。使用Java，你可以編寫涉及處理的所有部分的UDF，如數(shù)據(jù)加載/存儲，列轉(zhuǎn)換和聚合。由于Apache Pig是用Java編寫的，因此與其他語言相比，使用Java語言編寫的UDF工作效率更高。

在Apache Pig中，我們還有一個用于UDF名為 Piggybank 的Java存儲庫。使用Piggybank，我們可以訪問由其他用戶編寫的Java UDF，并貢獻(xiàn)我們自己的UDF。

Java中的UDF的類型

在使用Java編寫UDF時，我們可以創(chuàng)建和使用以下三種類型的函數(shù)

• Filter函數(shù) - Filter（過濾）函數(shù)用作過濾器語句中的條件。這些函數(shù)接受Pig值作為輸入并返回布爾值。

• Eval函數(shù) - Eval函數(shù)在FOREACH-GENERATE語句中使用。這些函數(shù)接受Pig值作為輸入并返回Pig結(jié)果。

• Algebraic函數(shù) - Algebraic（代數(shù)）函數(shù)對FOREACHGENERATE語句中的內(nèi)包起作用。這些函數(shù)用于對內(nèi)包執(zhí)行完全MapReduce操作。

使用Java編寫UDF

要使用Java編寫UDF，我們必須集成jar文件 Pig-0.15.0.jar 。在本章節(jié)中，將討論如何使用Eclipse編寫示例UDF。在繼續(xù)學(xué)習(xí)前，請確保你已在系統(tǒng)中安裝了Eclipse和Maven。

按照下面給出的步驟寫一個UDF函數(shù)：

• 打開Eclipse并創(chuàng)建一個新項目（例如 myproject ）。

• 將新創(chuàng)建的項目轉(zhuǎn)換為Maven項目。

• 在pom.xml中復(fù)制以下內(nèi)容。此文件包含Apache Pig和Hadoop-core jar文件的Maven依賴關(guān)系。

<project xmlns = "http://maven.apache.org/POM/4.0.0"
   xmlns:xsi = "http://www.w3.org/2001/XMLSchema-instance"
   xsi:schemaLocation = "http://maven.apache.org/POM/4.0.0http://maven.apache .org/xsd/maven-4.0.0.xsd"> 
	
   <modelVersion>4.0.0</modelVersion> 
   <groupId>Pig_Udf</groupId> 
   <artifactId>Pig_Udf</artifactId> 
   <version>0.0.1-SNAPSHOT</version>
	
   <build>    
      <sourceDirectory>src</sourceDirectory>    
      <plugins>      
         <plugin>        
            <artifactId>maven-compiler-plugin</artifactId>        
            <version>3.3</version>        
            <configuration>          
               <source>1.7</source>          
               <target>1.7</target>        
            </configuration>      
         </plugin>    
      </plugins>  
   </build>
	
   <dependencies> 
	
      <dependency>            
         <groupId>org.apache.pig</groupId>            
         <artifactId>pig</artifactId>            
         <version>0.15.0</version>     
      </dependency> 
		
      <dependency>        
         <groupId>org.apache.hadoop</groupId>            
         <artifactId>hadoop-core</artifactId>            
         <version>0.20.2</version>     
      </dependency> 
      
   </dependencies>  
	
</project>

• 保存文件并刷新它。在 Maven依賴關(guān)系部分中，可以找到下載的jar文件。

• 創(chuàng)建名為 Sample_Eval 的新的類文件，并在其中復(fù)制以下內(nèi)容。

import java.io.IOException; 
import org.apache.pig.EvalFunc; 
import org.apache.pig.data.Tuple; 
 
import java.io.IOException; 
import org.apache.pig.EvalFunc; 
import org.apache.pig.data.Tuple;

public class Sample_Eval extends EvalFunc<String>{ 

   public String exec(Tuple input) throws IOException {   
      if (input == null || input.size() == 0)      
      return null;      
      String str = (String)input.get(0);      
      return str.toUpperCase();  
   } 
}

在編寫UDF時，必須繼承EvalFunc類并向 exec() 函數(shù)提供實現(xiàn)。在此函數(shù)中，寫入UDF所需的代碼。在上面的例子中，我們返回了將給定列的內(nèi)容轉(zhuǎn)換為大寫的代碼。

• 編譯完類并確認(rèn)沒有錯誤后，右鍵單擊Sample_Eval.java文件。它將呈現(xiàn)一個菜單。選擇“export”，如以下屏幕截圖所示。

• 點擊“export”，將看到以下窗口。 點擊“JAR file”。

• 點擊“Next>”按鈕繼續(xù)操作。將獲得另一個窗口，你需要在本地文件系統(tǒng)中輸入路徑，在其中存儲jar文件。

• 最后，單擊“Finish”按鈕。在指定的文件夾中，創(chuàng)建一個Jar文件 sample_udf.jar 。此jar文件包含用Java編寫的UDF。

使用UDF

在編寫UDF和生成Jar文件后，請按照下面給出的步驟：

步驟1：注冊Jar文件

在寫入UDF（在Java中）后，我們必須使用Register運算符注冊包含UDF的Jar文件。通過注冊Jar文件，用戶可以將UDF的位置綁定到Apache Pig。

語法

下面給出了Register運算符的語法。

REGISTER path; 

例

讓我們注冊本章前面創(chuàng)建的sample_udf.jar。以本地模式啟動Apache Pig并注冊jar文件sample_udf.jar，如下所示。

$cd PIG_HOME/bin 
$./pig –x local 

REGISTER '/$PIG_HOME/sample_udf.jar'

注意：假設(shè)路徑中的Jar文件：/$PIG_HOME/sample_udf.jar

步驟2：定義別名

注冊UDF后，可以使用 Define 運算符為其定義一個別名。

語法

下面給出了Define運算符的語法。

DEFINE alias {function | [`command` [input] [output] [ship] [cache] [stderr] ] }; 

例

定義sample_eval的別名，如下所示。

DEFINE sample_eval sample_eval();

步驟3：使用UDF

定義別名后，可以使用與內(nèi)置函數(shù)相同的UDF。假設(shè)在HDFS /Pig_Data/ 目錄中有一個名為emp_data的文件，其中包含以下內(nèi)容。

001,Robin,22,newyork
002,BOB,23,Kolkata
003,Maya,23,Tokyo
004,Sara,25,London 
005,David,23,Bhuwaneshwar 
006,Maggy,22,Chennai
007,Robert,22,newyork
008,Syam,23,Kolkata
009,Mary,25,Tokyo
010,Saran,25,London 
011,Stacy,25,Bhuwaneshwar 
012,Kelly,22,Chennai

并假設(shè)我們已將此文件加載到Pig中，如下所示。

grunt> emp_data = LOAD 'hdfs://localhost:9000/pig_data/emp1.txt' USING PigStorage(',')
   as (id:int, name:chararray, age:int, city:chararray);

現(xiàn)在使用UDF sample_eval 將員工的姓名轉(zhuǎn)換為大寫。

grunt> Upper_case = FOREACH emp_data GENERATE sample_eval(name);

請驗證關(guān)系 Upper_case 的內(nèi)容，如下所示。

grunt> Dump Upper_case;
  
(ROBIN)
(BOB)
(MAYA)
(SARA)
(DAVID)
(MAGGY)
(ROBERT)
(SYAM)
(MARY)
(SARAN)
(STACY)
(KELLY)