本文目录一览：
windows下python的bom问题
问题：
windows环境下新建或编辑文本文件，保存时会在头部加上BOM。
使用ftp上传到linux下，在执行时第一行即报错。
以下方法可以去除BOM头，有需要的朋友可以参考下。
复制代码代码如下:
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")
说明: 文件开始部为 0xEF 0xBB 0xBF 为BOM
python带bom的utf-8-sig如何去掉bom
在此列举以下两种去除方法：
（1）在notepad++等高级记事本中可以直接转换为无BOM格式的utf-8文件
（2）用python脚本解决
BOM时一串16进制字符串，在python中表示为 “b'\xef\xbb\xbf'”
如果在分词之后出现BOM字符串，可以判断词是否等于“b'\xef\xbb\xbf'”去除即可
去除文本文件中BOM头的脚本
#65279;#!/usr/bin/env python3
# -*- coding: utf-8 -*-
def removeBom(file):
'''移除UTF-8文件的BOM字节'''
BOM = b'\xef\xbb\xbf'
existBom = lambda s: True if s==BOM else False
f = open(file, 'rb')
if existBom( f.read(3) ):
fbody = f.read()
#f.close()
with open(file, 'wb') as f:
f.write(fbody)
python解决csv文件用excel打开乱码问题
【问题】
python输出的csv文件用excel打开，里面的中文会变成乱码，但用window下的记事本或mac下的numbers打开就正常显示。
原因是python输出的文件是utf-8编码写入的，excel默认以gbk方式读取，导致乱码发生。
【解决方法1】文件产出时encoding设置为utf-8-sig
用excel打开csv时，excel会先检查文件的第一个字符，来了解这个文件是什么编码方式，如果这个字符是BOM，excel就知道用utf-8的方式打开这个文件。python自带了处理BOM的编码方式uft-8-sig，因此只需要在文件产出时将encoding设置为utf-8-sig。
如果文件不是由python产出的，只需要以utf-8方式读入再以utf-8-sig方式存储即可
【解决方法2】懒人法，适用只含简体中文的文件
用记事本打开，点击另存为，右下角编码方式选择“ANSI”，这个过程是把这个文件改成gbk编码格式，excel就是默认用gbk方式打开的。
参考： Python写的csv文件，如何让 Excel 双击打开不乱码？ - 云+社区 - 腾讯云
对编码格式一窍不通的可以阅读以下网页
python笔记——二进制和文件编码_砍柴姑娘Jourosy的博客-CSDN博客
编码方式之ASCII、ANSI、Unicode概述 - 蓝海人 - 博客园
【简单总结】：
1. 首先需要了解 字符集 和 字符编码 两个概念，字符集定义了字符和二进制的一一对应关系，字符编码规定了如何将字符的编号存储到计算机中。
2. Unicode是字符集，包含了全球文字的唯一编码，utf-8是编码方式，将unicode以某种方式存储到计算机中。
3. 有些字符集和编码是结合在一起的，称作字符集还是编码都无所谓，比如ASCII，GBK
4. ANSI是各个国家地区不同扩展编码方式的总称，互不兼容（可以看出来通用性没有utf好）
5. 不同编码方式在转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。
