HCatalog - 加载器和存储器

HCatLoader和HCatStorer API 与 Pig 脚本一起使用来读取和写入 HCatalog 管理的表中的数据。这些接口不需要特定于 HCatalog 的设置。

最好对 Apache Pig 脚本有一些了解，以便更好地理解本章。如需进一步参考，请浏览我们的Apache Pig教程。

HCCAT装载机

HCatLoader 与 Pig 脚本一起使用，从 HCatalog 管理的表中读取数据。使用以下语法通过 HCatloader 将数据加载到 HDFS 中。

A = LOAD 'tablename' USING org.apache.HCatalog.pig.HCatLoader();

您必须用单引号指定表名称：LOAD 'tablename'。如果您使用非默认数据库，则必须将输入指定为 ' dbname.tablename'。

Hive 元存储允许您在不指定数据库的情况下创建表。如果您以这种方式创建表，则数据库名称为“默认”，并且在为 HCatLoader 指定表时不需要数据库名称。

下表包含 HCatloader 类的重要方法和说明。

先生。 方法名称和描述
1

public InputFormat<?,?> getInputFormat() 抛出 IOException

使用HCatloader类读取加载数据的输入格式。
2

公共字符串relativeToAbsolutePath（字符串位置，路径curDir）抛出IOException

它返回绝对路径的字符串格式。
3

public void setLocation(String location, Job job) 抛出 IOException

它设置可以执行作业的位置。
4

public Tuple getNext() 抛出 IOException

从循环中返回当前元组（键和值）。

HCat存储库

HCatStorer 与 Pig 脚本一起使用，将数据写入 HCatalog 管理的表。使用以下语法进行存储操作。

A = LOAD ...
B = FOREACH A ...
...
...
my_processed_data = ...

STORE my_processed_data INTO 'tablename' USING org.apache.HCatalog.pig.HCatStorer();

您必须用单引号指定表名称：LOAD 'tablename'。必须在运行 Pig 脚本之前创建数据库和表。如果您使用非默认数据库，则必须将输入指定为'dbname.tablename'。

Hive 元存储允许您在不指定数据库的情况下创建表。如果您以这种方式创建表，则数据库名称为“默认”，并且您不需要在store语句中指定数据库名称。

对于USING子句，您可以使用一个字符串参数来表示分区的键/值对。当您写入分区表并且分区列不在输出列中时，这是必需的参数。分区键的值不应加引号。

下表包含 HCatStorer 类的重要方法和说明。

先生。 方法名称和描述
1

public OutputFormat getOutputFormat() 抛出 IOException

使用 HCatStorer 类读取存储数据的输出格式。
2

public void setStoreLocation（字符串位置，作业作业）抛出 IOException

设置执行此商店应用程序的位置。
3

public void storeSchema（ResourceSchema schema，String arg1，Job job）抛出 IOException

存储架构。
4

public void prepareToWrite（RecordWriter writer）抛出 IOException

它有助于使用 RecordWriter 将数据写入特定文件。
5

public void putNext (Tuple tuple) 抛出 IOException

将元组数据写入文件。

使用 HCatalog 运行 Pig

Pig 不会自动拾取 HCatalog jar。要引入必要的 jar，您可以在 Pig 命令中使用标志或设置环境变量PIG_CLASSPATH和PIG_OPTS，如下所述。

要引入适当的 jar 来使用 HCatalog，只需包含以下标志 -

pig –useHCatalog <Sample pig scripts file>

设置执行的 CLASSPATH

使用以下 CLASSPATH 设置将 HCatalog 与 Apache Pig 同步。

export HADOOP_HOME = <path_to_hadoop_install>
export HIVE_HOME = <path_to_hive_install>
export HCAT_HOME = <path_to_hcat_install>

export PIG_CLASSPATH = $HCAT_HOME/share/HCatalog/HCatalog-core*.jar:\
$HCAT_HOME/share/HCatalog/HCatalog-pig-adapter*.jar:\
$HIVE_HOME/lib/hive-metastore-*.jar:$HIVE_HOME/lib/libthrift-*.jar:\
$HIVE_HOME/lib/hive-exec-*.jar:$HIVE_HOME/lib/libfb303-*.jar:\
$HIVE_HOME/lib/jdo2-api-*-ec.jar:$HIVE_HOME/conf:$HADOOP_HOME/conf:\
$HIVE_HOME/lib/slf4j-api-*.jar

例子

假设我们在HDFS中有一个文件student_details.txt，其内容如下。

学生详细信息.txt

001, Rajiv,    Reddy,       21, 9848022337, Hyderabad
002, siddarth, Battacharya, 22, 9848022338, Kolkata
003, Rajesh,   Khanna,      22, 9848022339, Delhi
004, Preethi,  Agarwal,     21, 9848022330, Pune
005, Trupthi,  Mohanthy,    23, 9848022336, Bhuwaneshwar
006, Archana,  Mishra,      23, 9848022335, Chennai
007, Komal,    Nayak,       24, 9848022334, trivendram
008, Bharathi, Nambiayar,   24, 9848022333, Chennai

我们还有一个名为example_script.pig的示例脚本，位于同一 HDFS 目录中。该文件包含对学生关系执行操作和转换的语句，如下所示。

student = LOAD 'hdfs://localhost:9000/pig_data/student_details.txt' USING 
   PigStorage(',') as (id:int, firstname:chararray, lastname:chararray,
   phone:chararray, city:chararray);
	
student_order = ORDER student BY age DESC;
STORE student_order INTO 'student_order_table' USING org.apache.HCatalog.pig.HCatStorer();
student_limit = LIMIT student_order 4;
Dump student_limit;

  • 该脚本的第一条语句会将名为Student_details.txt的文件中的数据加载为名为Student 的关系。

  • 脚本的第二条语句将根据年龄按降序排列关系的元组，并将其存储为Student_order。

  • 第三条语句将处理后的数据Student_order结果存储在名为Student_order_table的单独表中。

  • 脚本的第四条语句会将Student_order的前四个元组存储为Student_limit。

  • 最后第五条语句将转储关系Student_limit的内容。

现在让我们执行sample_script.pig，如下所示。

$./pig -useHCatalog hdfs://localhost:9000/pig_data/sample_script.pig

现在，检查输出目录（hdfs：user/tmp/hive）中的输出（part_0000、part_0001）。