• 30G的文件,截取部分记录。如何快速有效?
  • python

有个30G的文件。没有分隔符,需要根据文件中的位置,例如(第5-10位,15-20位的之类的记录)
清洗成一个4G左右的文件。

比如文件内容:

12欧卡男19900101安徽13908726545
13孔位男19900201北京13908726234
14萨拉男19901101山西13908726111

截取:第3-4位,第5位,第16-26位 这3个字段。

我的想法是用shell进行分割拼接处理,以前没有进行过这方面的开发。而且受服务器的性能限制,这个方案不太理想,所以求教,有没有更加有效的处理方式?


  • 就几件    2020-06-29 10:56:12
  • 阅读 899    收藏 0    回答 1
  • 邀请
  • 收藏
  • 分享
发送
登录 后发表评论
  • 51testing软件测试圈微信