有几个系统，每天向一个FTP服务器写入操作日志，一天大概可以写入10G左右的文件，且文件比较零碎。

目前需要把这些文件里面的日志提取到库表。使用greenplum的外部表把数据copy到表了，而且是一次性的提取，这样有时候会很慢，也试过一个个文件的提取，但也不是很理想。
想问问大神，还有什么好的思路或者可以优化的地方吗？