GaussDB COPY命令：高效表复制神器！

GaussDB COPY命令：高效表复制神器！

引用

CSDN

等

9

来源

1.

https://blog.csdn.net/Oliviahome/article/details/143329292

2.

https://blog.csdn.net/qq_37699336/article/details/145168370

3.

https://blog.csdn.net/GaussDB/article/details/138158356

4.

https://blog.csdn.net/m0_60569209/article/details/143333294

5.

https://blog.csdn.net/GaussDB/article/details/141357457

6.

https://support.huaweicloud.com/intl/zh-cn/cassandraug-nosql/nosql_03_0015.html

7.

https://juejin.cn/post/7462978602457595939

8.

https://www.cnblogs.com/xiaoxu0211/p/18512157

9.

https://juejin.cn/post/7463805475910975500

在数据管理领域，高效的数据导入导出工具是数据库系统不可或缺的重要组件。华为推出的GaussDB数据库提供了强大的COPY命令功能，能够轻松实现数据的导入导出操作。无论是从文件到表还是从表到文件，GaussDB的COPY命令都能为用户带来便捷的数据处理体验。

GaussDB的COPY命令主要用于数据的逻辑导出导入，包括COPY TO和COPY FROM两个子命令。COPY TO用于将数据从表中导出到文件，而COPY FROM则用于将数据从文件导入到表中。

COPY TO命令

COPY TO命令的基本语法如下：

COPY table_name[(column_list)] TO 'file_name'[, 'file2_name', ...] | STDOUT [WITH option ='value'[AND ...]]

其中：

• table_name：要导出数据的表名
• column_list：可选参数，用于指定要导出的列
• file_name：目标文件名，可以指定多个文件或使用Python的glob表达式
• STDOUT：将数据输出到标准输出
• WITH option ='value'：用于设置导出参数，如分隔符、引用符等

COPY FROM命令

COPY FROM命令的基本语法如下：

COPY table_name[(column_list)] FROM 'file_name'[, 'file2_name', ...] | STDIN [WITH option ='value'[AND ...]]

其中：

• table_name：要导入数据的目标表
• column_list：可选参数，用于指定要导入的列
• file_name：源文件名，可以指定多个文件或使用Python的glob表达式
• STDIN：从标准输入读取数据
• WITH option ='value'：用于设置导入参数，如分隔符、引用符等

COPY命令支持多种参数设置，以满足不同场景的需求。以下是一些常用的参数：

• DELIMITER：用于分隔字段的单个字符，默认为英文逗号（,）
• QUOTE：包含字段值的单个字符，默认为双引号（"）
• ESCAPE：转义使用QUOTE字符的单个字符，默认为反斜杠（\）
• HEADER：布尔值，指示第一行是否包含列名，默认为FALSE
• NULL：查询结果为空的字段的填充值，默认为空字符串
• DATETIMEFORMAT：时间数据的格式，默认为%Y-%m-%d %H:%M:%S%z
• MAXATTEMPTS：发生错误时的最大重试次数，默认为5
• REPORTFREQUENCY：状态显示的频率（以秒为单位），默认为0.25
• DECIMALSEP：decimal值的分隔字符，默认为英文句号（.）
• THOUSANDSSEP：千位分隔符，默认为None
• BOOLSTYLE：布尔值的表示方式，默认为True,False
• NUMPROCESSES：工作进程数，默认为CPU核心数减一
• CONFIGFILE：指定cqlshrc配置文件
• RATEFILE：输出统计信息的文件
• ORIGIN：源数据库是否为开源Cassandra，默认为False
• CHUNKSIZE：从文件读取数据的块大小，默认为5000

使用建议：

• 建议在业务低峰期进行数据导出导入操作，以减少对业务的影响
• 使用RATEFILE参数可以提升统计效率
• 根据CPU使用情况调整NUMPROCESSES参数，建议不超过60%

导出数据

假设我们有一个名为copy_example的表，包含以下列：col_1（integer）、col_2（text）、col_3（varchar）、col_4（date）和col_5（time）。

1. 导出到标准输出

将copy_example表的内容导出到标准输出，使用CSV格式，使用双引号作为引用符，并强制引用第四列和第五列：

\copy copy_example to stdout CSV quote as '"' force quote col_4,col_5;

输出结果：

1,iamtext,iamvarchar,"2006-07-07","12:00:00"
2,sometext,somevarchar,"2006-07-07","12:00:00"
3,sometext,somevarchar,"2006-07-07","12:00:00"
4,sometext,somevarchar,"2022-07-07","19:00:02"
5,sometext,somevarchar,"2006-07-07",
6,sometext,somevarchar,"2022-07-07","19:00:02"

2. 导出到本地文件

将copy_example表的内容导出到本地文件/tmp/data/copy_example.csv，使用|作为分隔符，使用双引号作为引用符：

\copy copy_example to '/tmp/data/copy_example.csv' csv delimiter '|' quote '"';

查看导出的文件内容：

1|iamtext|iamvarchar|2006-07-07|12:00:00
2|sometext|somevarchar|2006-07-07|12:00:00
3|sometext|somevarchar|2006-07-07|12:00:00
4|sometext|somevarchar|2022-07-07|19:00:02
5|sometext|somevarchar|2006-07-07|
6|sometext|somevarchar|2022-07-07|19:00:02

3. 导出查询结果

将copy_example表中col_1等于1的记录导出到/tmp/data/copy_example2.csv，使用逗号作为分隔符：

\copy (select * from copy_example where col_1 = 1) to '/tmp/data/copy_example2.csv' csv delimiter ',' quote '"';

查看导出的文件内容：

1,iamtext,iamvarchar,2006-07-07,12:00:00

导入数据

1. 从标准输入导入

从标准输入导入数据到copy_example表：

\copy copy_example from stdin csv;

输入数据：

Enter data to be copied followed by a newline.
End with a backslash and a period on a line by itself.
>> 1,"iamtext","iamvarchar",2006-07-07,12:00:00
>> 2,"sometext","somevarchar",2006-07-07,12:00:00
>> \.

查看导入的数据：

select * from copy_example;
 col_1 | col_2 | col_3 | col_4 | col_5 
-------+----------+-------------+---------------------+----------
 1 | iamtext | iamvarchar | 2006-07-07 00:00:00 | 12:00:00
 2 | sometext | somevarchar | 2006-07-07 00:00:00 | 12:00:00
(2 rows)

2. 从本地文件导入

假设在/tmp/data/目录下有一个名为example.csv的文件，包含header行，使用|作为分隔符：

header
3|"sometext"|"somevarchar"|2006-07-07|12:00:00
4|"sometext"|"somevarchar"|2022-07-07|19:00:02

从该文件导入数据到copy_example表：

\copy copy_example from '/tmp/data/example.csv' csv header delimiter '|' quote '"';

GaussDB提供了多种数据导入导出方式，包括COPY命令、Data Studio等。COPY命令适用于小批量数据的导入导出，使用简单方便。但对于大规模数据迁移，建议使用Data Studio等专业工具，以获得更好的性能和稳定性。

GaussDB的COPY命令是一个功能强大且易于使用的数据导入导出工具。通过合理设置参数，可以满足各种数据迁移需求。但在使用时需要注意以下几点：

1. COPY命令适用于小批量数据的导入导出，对于大规模数据迁移，建议使用其他工具
2. 建议在业务低峰期进行数据导出导入操作
3. 根据CPU使用情况调整工作进程数，建议不超过60%
4. 使用RATEFILE参数可以提升统计效率

通过合理利用COPY命令，可以显著提高数据处理效率，为业务发展提供有力支持。