0%

csv文件读取过程中utf-8编码问题

csv文件读取过程中utf-8编码问题

在读取csv文件数据导入postgres数据库过程中出错,经查日志,发现读取过程中,字段sample_name变为\xef\xbb\xbfsample_name。谷歌找到的解决方案,将:

1
with open(filename) as f:

修改为:
1
2
3
import codecs

with codecs.open(fikename, "r", "utf-8-sig") as f:

解决。

0xEF,0xBB,0xBF是utf-8的BOM,更多细节看这里