如何判断 Hive 表是内部表还是外部表

如何判断 Hive 表是内部表还是外部表

引用

CSDN

1.

https://m.blog.csdn.net/u012955829/article/details/143644295

在使用Apache Hive进行大数据处理时，理解表的类型（内部表或外部表）对于数据管理和维护至关重要。本文将详细介绍如何判断Hive表是内部表还是外部表，并提供具体的操作示例。

Hive 表的类型简介

在Hive中，表分为内部表（也称为管理表）和外部表。两者的主要区别在于数据的存储和管理方式：

• 内部表（Managed Table）：Hive完全管理表的数据及元数据。当删除内部表时，Hive会删除元数据和存储在Hive仓库中的数据文件。
• 外部表（External Table）：Hive仅管理表的元数据，数据文件由用户自行管理。当删除外部表时，Hive只删除元数据，不会删除数据文件。

了解表的类型对于数据的生命周期管理非常重要，特别是在删除表时，可能会影响到数据的存储。

判断表类型的方法

下面将介绍四种方法来判断Hive表是内部表还是外部表，并以示例表example_db.example_table为例。

方法一：使用DESCRIBE FORMATTED命令

步骤：

1. 执行命令：

   DESCRIBE FORMATTED example_db.example_table;
   

2. 查看输出结果：

• 查找输出中的Table Type字段。
• 内部表显示为MANAGED_TABLE。
• 外部表显示为EXTERNAL_TABLE。

示例输出：

# Detailed Table Information
Database:               example_db
Owner:                  user_name
CreateTime:             Tue Oct 10 10:00:00 CST 2023
Table Type:             MANAGED_TABLE
...

方法二：使用SHOW CREATE TABLE命令

步骤：

1. 执行命令：

   SHOW CREATE TABLE example_db.example_table;
   

2. 查看建表语句：

• 内部表：建表语句中不包含EXTERNAL关键字。

  CREATE TABLE `example_db.example_table` (
    ...
  )
  

• 外部表：建表语句中包含EXTERNAL关键字。

  CREATE EXTERNAL TABLE `example_db.example_table` (
    ...
  )
  LOCATION 'hdfs://path/to/data';
  

方法三：查看表的属性

步骤：

1. 执行命令：

   DESCRIBE EXTENDED example_db.example_table;
   

2. 查看Table Parameters：

• 查找输出中的table parameters部分。
• 如果存在'EXTERNAL'='TRUE'，则为外部表。
• 如果不存在该参数或为'EXTERNAL'='FALSE'，则为内部表。

示例：

# Detailed Table Information
...
Table Parameters:
    EXTERNAL                TRUE
    numFiles                15
    totalSize               204800
    ...

方法四：查看数据存储路径

步骤：

1. 执行命令：

   DESCRIBE EXTENDED example_db.example_table;
   

2. 查看Location信息：

• 内部表：数据通常存储在Hive的默认仓库目录，例如：

  hdfs://namenode:8020/user/hive/warehouse/example_db.db/example_table
  

• 外部表：数据存储在用户指定的HDFS路径，可能不在默认仓库目录下，例如：

  hdfs://namenode:8020/data/external/example_table
  

总结

通过上述方法，您可以轻松判断Hive表是内部表还是外部表：

• 内部表：
• 删除表时，Hive会删除元数据和数据文件。
• 数据存储在Hive的默认仓库目录。
• 外部表：
• 删除表时，Hive只删除元数据，数据文件保留。
• 数据存储在用户指定的路径。

了解表的类型有助于避免意外的数据丢失，并有助于制定合理的数据管理策略。

注意事项

• 删除操作需谨慎：在删除表之前，务必确认表的类型，避免误删重要数据。
• 数据备份：对于重要的数据，无论是内部表还是外部表，建议定期备份。
• 权限管理：确保只有授权的人员才能执行删除和修改表结构的操作。
• 版本兼容性：不同版本的Hive可能存在一些差异，操作前请参考对应版本的官方文档。

希望这篇文章能帮助您更好地理解和管理Hive中的表类型。