数据导入#
这里我们都以 csv 文件举例，如果你需要导入 excel 文件，需要先转换成 csv 文件（后面我们会介绍 xlsx2csv 工具）。
读取文件#
实际上，duckdb 可以不导入到数据库中，就可以直接查询。
我们先“新建 SQL 编辑器”，这样我们就可以在里面写 SQL 语句了。
我们使用一个电商数据集[1]，在编辑器中输入代码：
select * from "C:\Users\data.csv"
直接可以查询出数据结果，而不需要像一般数据库需要先建表、导入数据后才能查询。
从这一点可以看出是非常简洁、方便的。
智能导数 read_csv_auto#
一般来说，如果一张表我们要经常查询还是需要将其导入到数据库中。
这时我们可以使用read_csv_auto函数，智能创建表并导入到数据库中。
create table ecommerce as select * from read_csv_auto('input.csv');
我们打开数据库，可以看到出现了刚新建的表ecommerce，双击后，点击数据选项卡，能够查看导入的数据。
这个导数的过程非常智能，快速，比 mysql 导入速度快了不少。
导入报错解决方法#
由于它是根据前面几行自动判断数据类型，可能会出现后面的数据不符合数据类型而导致出错的情况。
如：
SQL Error: Invalid Input Error: Could not convert string '2.03.19' to DOUBLE in column "物料编码", at line 577268.
这个报错就是第 577268 行，不符合智能创建的表的该字段的数据类型。
这里我们可以参考官方文档的参数列表 中的sample_size参数 [2]，让智能判断时参考多一些行数。
CREATE TABLE new_tbl AS SELECT * FROM read_csv_auto('input.csv', sample_size=600000);
这就会参考 60 万行数据，来创建合适的数据类型。或者设置sample_size=-1，这样可以参数数据中的所有行，来创建适当的数据类型。
当然也可以使用参数all_varchar=1，让所有数据以 varchar 的文本类型导入数据库，不过不建议这样做，因为无法对数字和日期进行计算。
需要注意的是 duckdb 和 mysql 不同的是需要设置严格的数据类型，例如， mysql 中 varchar 文本类型也是可以计算的，但是在 duckdb 只就不能进行计算。所以，我们需要在建表时设置正确的数据类型，数字就设置成数字类型，日期时间设置成日期时间的类型。
假如数据中有双引号包裹的千分符数字，如"12,345.23"，这对 duckdb来说是文本格式，将不能参与计算，为了能导入成数字格式，我们需要先将原文件中双引号中的逗号删除，可以在终端中使用 sed 命令来完成。
( 注：linux,mac 终端中可以使用 sed 命令，Windows 可以安装wsl linux子系统使用终端 sed 命令）
删除引号内数字中逗号#
如果你想替换原文件，你可以使用 -i 选项来实现原地修改，例如：
sed -i 's/\("\)\([^",]\+\),\([^"]\+\)\("\)/\1\2\3\4/g' file
例如，将1,2,3,“45,678.00” 转换成1,2,3,“45678.00”
这个命令会在修改data.csv文件的同时，生成一个data.csv.bak文件作为备份。
xlsx2csv#
安装#
xlsx2csv 是一个将 excel 文件转 csv 文件的 python 包。
安装方法：
pip install xlsx2csv
基础使用#
在终端中将input_name.xlsx转换成output_name.csv：
xlsx2csv input_name.xlsx output_name.csv
上述命令只会转换工作簿的第一张表，如果你需要转换的 xlsx 中是有多个表，那么可以使用-a参数：
xlsx2csv -a input_name.xlsx output_dir_name
将会把input_name.xlsx文件所以表转换输出到output_dir_name文件夹下。
如果你要将一个文件夹下所有的工作簿转换成 csv 可以使用：
xlsx2csv /path/to/input/dir /path/to/output/dir
同样的，如果文件中有多个工作表，需要使用-a参数将所有的工作表转出。