数据整合方法:文件夹剥离、多表格文件纵向合并
情景示例
杭州市大气日度数据,各月数据分布于各子文件夹。需要将各文件夹中的各月份文件从文件夹中剥离出来,并将其纵向合并,整合为1月至12月的日度数据。
例如:
各月份日度数据文件分布于各不同文件夹,手动剥离任务量大。(图1)
1月数据文件位置:.\202101\浙江省\杭州市_1.csv
(图2)
2月数据文件位置:.\202102\浙江省\杭州市_1.csv
(图3)
实现效果:
过程方法
文件夹剥离
使用Winrar压缩各子文件夹,在“文件”设置项中将文件路径选为“不存储路径”,然后再解压,得到剥离出的文件。
表格文件纵向合并
1、在得到已剥离的表格文件后,我们将所有文件放至一个文件夹。
2、将其按照你想要的顺序编号文件名,注意文件名长度需相等,如第十一个文件的名称为“文件11”,则第一个文件名称应为“文件01”。原因在于,此处CMD命令的合并顺序并不是“按名称排序”,而是按照系统读取文件夹文件的顺序。
3、打开CMD切换至当前文件夹,或是直接在地址栏输入“CMD”,打开命令窗口。
4、键入以下代码并回车,完成合并,得到合并后文件all.csv。
copy *.csv all.csv