本文目录一览:
- 1、Python 字符集编码 - UTF-8 编码
- 2、Python-lesson 2 数据类型、字符编码、文件处理
- 3、学习Python应该从什么方面下手?
- 4、python解决csv文件用excel打开乱码问题
Python 字符集编码 - UTF-8 编码
Unicode 的编码范围为 0~0x10FFFF ,如此大的范围,显然没办法像 ASCII 编码一样使用一个字节存储。为此,Unicode 制定了各种储存编码的方式,如: UTF-8 、 UTF-16 和 UTF-32 ,这些存储格式被称为 Unicode 转换格式 UTF 。
每种 Unicode 转换格式都会把一个编码存储为一到多个编码单元,如 UTF-8 的编码单元为 8 位的字节; UTF-16 的编码单元为 16 位,即 2 个字节; UTF-32 的编码单元为 32 位,即 4 个字节。
其中, UTF-8 是在互联网上使用最广泛的一种 Unicode 转换格式,具有以下显著的优势。下面,我们就先来看看 UTF-8 具有哪些有点吧~
1. UTF-8 中每个 ASCII 字符只需要一个字节去存储,因此一个 ASCII 文本本身也是一个 UTF-8 文本,即做到了向后兼容。
比如 A 的 ASCII 码对应为 0x41 , a 的 ASCII 码对应为 0x61 ,那么 UTF-8 兼容 ASCII 也就意味着:
这里,需要再次提醒一下:Unicode 是表现形式,UTF-8 是存储形式;即 UTF-8 解码之后为 Unicode ,Unicode 可以编码成 UTF-8 。
2. UTF-8 采用字节为存储单元,因此不存在字节的大端和小段的问题。
UTF-16 和 UTF-32 的存储单元分别是 2 字节和 4 字节,因此在存储时会涉及到大小端的问题。那什么是大小端模式呢?下面我们来暂停补充一下~
关于如何获知你的环境使用的是大端模式还是小端模式,这里有个简单的方式:定义一个 short 类型的数组即可:
数字 1 在 short 类型中表示为 0x0001 ,高位为 0x00 ,低位为 0x01 。我们可以很直观地看到,数组在保存数据时,将高位 0x00 放在了高地址处,将低位 0x01 放在了低地址处。因此使用的就是小端模式。
那 UTF-8 为什么可以使用字节来作为存储单元,而不用担心字节序的问题呢?这就涉及到了 UTF-8 巧妙的编码规则~
UTF-8 最大的一个特点,就是它是一种变长的编码方式。它可以使用 1~4 个字节表示一个符号,根据不同的符号而变化字节长度。UTF-8的编码规则很简单,只有二条:
1)对于单字节符号,字节的第一位设为 0 ,后 7 位为这个符号的 Unicode 码。也就是我们上文提到的向后兼容:对于英文字母,UTF-8 编码和 ASCII 码是相同的。
2)对于使用 X 个字节存储的符号,第一个字节的前 X 位设置为 1 ,第 X+1 位设置为 0 ,后面字节的前 2 位一律设置为 10 ,剩下的位置一次填充这个符号的 Unicode 码。
下表总结了编码规则,字母 x 表示可用于编码的位:
跟据上表,解读 UTF-8 编码也非常简单:如果一个字节的第一位是 0 ,则这个字节单独就是一个字符;如果第一位是 1 ,则连续有多少个 1 ,就表示当前字符占用多少个字节。
下面,我们就来演示一下 UTF-8 编码的过程。
首先,获取汉字 鱼 的 Unicode 码:
我们不妨先对 鱼 这个汉字使用 utf-8 编码看看使用几个字节存储:
鱼 在 UTF-8 编码中使用 3 个字节存储,因此其存储的二进制的形式为 1110xxxx 10xxxxxx 10xxxxxx ,将 Unicode 1001 110001 111100 依次填充到占位符 x 的位置就得到: 11101001 10110001 10111100 。
下面,我们将上述推导得出的 11101001 10110001 10111100 转换为十六进制,验证一下是否为 b'\xe9\xb1\xbc' :
验证无误!
Python-lesson 2 数据类型、字符编码、文件处理
什么是垃圾:当一个值身上没有人绑定任何变量名(该值的引用计数=0)时,该值就是一个垃圾,会将该值内存空间释放掉。
引用计数增加
age=18 //18的引用计数等于1
x=age //18的引用计数等于2
引用计数减少
age=19 //18的引用计数等于1
del x //解除值与变量名的绑定关系;18的引用计数变为0
1、 为何数据要分不同的类型?
数据是用来表示状态的,不同的状态就应该用不同的类型的数据去表示
2、数据类型
数字(整形,长整形,浮点型,复数)
字符串
字节串:在介绍字符编码时介绍字节bytes类型
列表
元组
字典
集合
3、按照以下几个点展开数据类型的学习
==========================基本使用============================
1、用途
2、定义方式
3、常用操作+内置的方法
==========================该类型总结==========================
存一个值or存多个值
有序or无序
可变or不可变(1、可变:值变,id不变。可变==不可hash 2、不可变:值变,id就变。不可变==可hash)
1、整型int
作用:年纪,等级,身份证号,qq号等整型数字相关
定义:age=10 #本质age=int(10)
2、浮点型float
作用:薪资,身高,体重,体质参数等浮点数相关
salary=3000.3 #本质salary=float(3000.3)
类型转换
a=('123') //字符串类型
a=int('123') //字符串转成整型类型
a=float('12.3') //字符串转成浮点型
作用:记录多个值
定义方式:在[ ]内用逗号分隔开多个任意类型的值;原材料可以是字符串,列表,字典;可变类型
1、按索引存取值(正向存取+反向存取);可存也可以修改;对于赋值操作必须是已存在的索引
l=['a','b','c','d','e']
print(l[0]) =a
print(l[-1]) =e
l[0]='A' //修改列表
print(l) =['A','b','c','d','e']
2、切片(顾头不顾尾,步长),步长与字符串一样;原列表不会修改
print(l[1:4]) =['b','c','d']
3、长度
print(len(l)) =5
4、成员运算in和not in
print('a' in l) =True
print('sss' not in l) =True
5、追加插入
l.append(333) //append最后追加
print(l) =['a','b','c','d','e','333']
l.insert(0,111) //第一个位置添加值
print(l) =['111','a','b','c','d','e']
6、删除remove ,有返回值;del也可删,但是没有返回值;pop 剪切一个值,返回剪切的值
l.remove('a') //()内为值,不能为索引
print(l) =['b','c','d','e']
del l[0] //[ ] 内为索引
l.pop(0) // () 内为索引,不指定索引默认时-1
res=l.pop(0)
print(res) =a
7、循环
for item in l
print(item)
1、count 统计次数
print(l.count('a')) =1
2、extend 一次性往列表末尾追加多个值,一个参数:可以被 for 循环的列表
item=[1,2,3,4,5]
l.extend(item)
print(l) =['a','b','c','d','e',1,2,3,4,5]
3、index 找索引,以找到的第一个值为准,不存在的值会报错,可以用成员运算判断查找的值是否存在,以避免报错;列表没有find
print(l.index('a')) =0
print(l.index('c',2,5)) =2 //指定查找范围,第二个开始,第五个结束
4、sort 排序,默认从小到大排序
l=[4,6,2,9,10,3,1]
l.sort()
print(l) =[1, 2, 3, 4, 6, 9, 10]
l.sort(reverse=True) //从大到小排序
print(l) =[10, 9, 6, 4, 3, 2, 1]
作用:就是一个不可变的列表(是可以当做字典的key的),主要是用来读
定义:在()内用逗号分隔开多个任意类型的元素
t=(1,2,3,('a','b'),['q','w','e'])
本质age=tuple(t=(1,2,3,('a','b'),['q','w','e']))
如果元组只有一个值,必须加一个逗号
t=('a',)
元组总结
1、存多个值
2、有序
3、不可变
1、按索引取值(正向取+反向取):只能取,不能添加、减少、修改
t=(1,2,3,('a','b'),['q','w','e'])
print(t[0]) =1
print(t[-1]) =['q','w','e']
2、切片(顾头不顾尾,步长),步长与字符串一致
print(t[1:4]) =(2, 3, ('a', 'b'))
3、长度
print(len(t)) =5
4、成员运算in和not in
print(1 in t) =True
5、循环
for item in t:
print(item)
t=(1,2,3,('a','b'),3,['q','w','e'])
作用:记录多个值,key对应值,key对value有描述性功能;取值速度快
定义:在{ } 内用逗号隔开多个元素,每个元素都是key:value的形式;key必须是不可变类型,value可以是任意类型
info={'name':'egon','age':18,'sex':'male'}
本质
info=dict(name='egon',age=18,sex='male')
或
info=dict([['name','egon'],('age',18)])
或
{}.fromkeys(('name','age','sex'),None)
总结
1、存多个值
2、无序
3、可变
1、将值导入字典
2、按key存取值:可存可取
dic={'name': 'egon', 'age': '18', 'gender': 'male'}
print(dic['name']) =egon //当key不存在时会报错
print(dic.get('name')) =egon
print(dic.get('xxx')) =None //当key不存在时会返回一个None
dic['name']='Egon' //修改value
dic['hight']=18 //如果key不存在,就是一个加值的操作
print(dic) ={'name': 'egon', 'age': '18', 'gender': 'male', 'hight': 18}
3、长度len,统计key:value的个数; 不能有重复的key,后面的key会覆盖前面的key
print(len(dic)) =3
4、成员运算in和not in,以字典的key为准
print('name' in dic) =True
print('dasda' not in dic) =True
5、删除
第一种:del dic['name']
第二种:res=dic.pop('name') //根据key删除,有返回值,返回值为key对应的value值
第三种:res=dic.popitem() //随机删,返回值是(key:value),返回值格式是元组
6、键keys(),值values(),键值对items()
print(dic.keys()) =dict_keys(['name', 'age', 'gender']) //取索引
print(dic.values()) =dict_values(['egon', '18', 'male']) //取值
print(dic.items()) =dict_items([('name', 'egon'), ('age', '18'), ('gender', 'male')]) //取键值对
7、循环
for item in dic:
print(item) //输出的是key
for item in dic.values():
print(item) //输出的是值
for item in dic.items():
print(ietm) //输出的是 (key:value) 的元组
1、update 新字典中已经存在的以新的为准,不存在的增加
dic={'name': 'egon', 'age': '18', 'gender': 'male'}
dic.update({'age':19,'hight':180})
print(dic) ={'name': 'egon', 'age': 19, 'gender': 'male', 'hight': 180}
2、setdefault 加入一个键值对,如果key已存在,则保留字典里的原值,如果key不存在,则加入键值对;返回字典里key对应的value值
作用:关系运算,去重
定义方式:在{ }内用逗号分隔开多个元素,但是元素的特点是
1、每个元素必须是不可变类型(可hash,可作为字典的key)
2、没有重复的元素
3、无序
注意:集合的目的是将不同的值存放到一起,不同的集合间用来做关系运算,无需纠结于集合中单个值
类型转换
res=set('hello') //字符串转集合
rds=set([1,'a','b']) //列表转集合
print(res) ={'h', 'l', 'e', 'o'} //去重
print(rds) ={1, 'a', 'b'}
总结:
1、有多个值
2、无序
3、可变
pythons={'alex','egon','yuanhao','wupeiqi','gangdan','biubiu'}
linuxs={'wupeiqi','oldboy','gangdan'}
1、长度len
2、成员运算in和not in
3、合集
print(pythons | linuxs)
4、交集
print(pythons linuxs)
5、两个集合差集,以第一个集合为准
print(pythons - linuxs) //求只报名python的学生
print(linuxs - pythons) //求只报名linux的学生
6、对称差集;求没有报名两门课程的学生
第一种:res=(pythons - linuxs) | (linuxs - pythons)
第二种:res=pythons ^ linuxs
print(res)
7、== ,集合值相等即可,无需顺序一致
s1={1,2,3}
s2={3,2,1}
print(s1 == s2) =True
8、父集:,= ;子集:,=
s1={1,2,3}
s2={3,2,1,4,6}
print(s2 = s1) =True
print(s1 = s2) =True
介绍:计算机系统分为:计算机硬件,操作系统,应用程序三部分。
1、什么是文件?
文件是操作系统为应用程序或者用户提供一种操作硬盘的虚拟单位。
window系统默认为GBK编码
2、为什么要用文件?
文件对应的硬盘空间,如果需要考虑永久保存数据那必须使用文件
3、如何用文件?
(1)打开文件
f=open(r'D:\untitled1\a.txt',mode='r',encoding='utf-8')
第一个小r,表示原生的字符串,\没有转义的意思,防止\a、\n转义
第二个小r,以读的模式打开,rb以二进制格式读,rt会把文本文件二进制解码成unicode格式存到内存,针对文本文件用rt模式;w为写操作;
赋值给一个变量,变量指定该文件对象,文件对象占的是应用程序的资源
(2)读/写文件
(3)关闭文件
f.close() //向操作系统发送指令,让操作系统关闭打开的文件,回收操作系统资源
1、控制文件读写操作模式
r 只读模式,以该模式打开文件,当文件不存在时报错;
w 只写模式,如果该文件存在则覆盖,如果该文件不存在,创建新文件写入;文件打开不关闭的情况下,连续写入自动追加;
a 追加,如果该文件存在则文件结尾追加内容,如果该文件不存在,创建新文件写入;
w+ 读写,如果该文件存在则覆盖,如果该文件不存在,创建新文件写入
2、控制文件读写内容的模式(不能单独使用,必须与r、w、a连用)
t (默认) 读写只能是文本文件,都是字符串类型,会自动解码文本文件;必须指定encoding参数
b 对于非文本文件,我们只能使用b模式,linux可忽略;"b"表示以字节的方式操作;以b方式打开时,读取到的内容是byte字节类型,写入时也需要提供字节类型,不能指定编码
为了避免打开文件后忘记关闭,可以通过管理上下文,即:
with open('log','r') as f:
3、文件的修改
f.seek(3,0) //3指移动的字节数,0是模式
1、三种模式,以字节为单位;只有0模式既可以在t模式下用也可以在b模式下用,而1、2两种模式只能在b模式下用
0 (默认模式):永远参照文件开头往后数
1:参照指针当前所在位置
2:参照文件末尾,倒着数
注意:t 模式下的read(n) 是以字符为单位;意思为从哪个字符开始读
学习Python应该从什么方面下手?
学习python不难,但想学好python进入比较好的岗位是有难度的,需要进行系统性阶段学习。
想要学习Python,需要掌握的内容还是比较多的,对于自学的同学来说会有一些难度,不推荐自学能力差的人。我们将学习的过程划分为4个阶段,每个阶段学习对应的内容,具体的学习顺序如下:
Python学习顺序:
①Python软件开发基础
掌握计算机的构成和工作原理
会使用Linux常用工具
熟练使用Docker的基本命令
建立Python开发环境,并使用print输出
使用Python完成字符串的各种操作
使用Python re模块进行程序设计
使用Python创建文件、访问、删除文件
掌握import 语句、From…import 语句、From…import* 语句、方法的引用、Python中的包
②Python软件开发进阶
能够使用Python面向对象方法开发软件
能够自己建立数据库,表,并进行基本数据库操作
掌握非关系数据库MongoDB的使用,掌握Redis开发
能够独立完成TCP/UDP服务端客户端软件开发,能够实现ftp、http服务器,开发邮件软件
能开发多进程、多线程软件
③Python全栈式WEB工程师
能够独立完成后端软件开发,深入理解Python开发后端的精髓
能够独立完成前端软件开发,并和后端结合,熟练掌握使用Python进行全站Web开发的技巧
④Python多领域开发
能够使用Python熟练编写爬虫软件
能够熟练使用Python库进行数据分析
招聘网站Python招聘职位数据爬取分析
掌握使用Python开源人工智能框架进行人工智能软件开发、语音识别、人脸识别
掌握基本设计模式、常用算法
掌握软件工程、项目管理、项目文档、软件测试调优的基本方法
想要系统学习,你可以考察对比一下开设有IT专业的热门学校,好的学校拥有根据当下企业需求自主研发课程的能,南京北大青鸟、中博软件学院、南京课工场等都是不错的选择,建议实地考察对比一下。
祝你学有所成,望采纳。
python解决csv文件用excel打开乱码问题
【问题】
python输出的csv文件用excel打开,里面的中文会变成乱码,但用window下的记事本或mac下的numbers打开就正常显示。
原因是python输出的文件是utf-8编码写入的,excel默认以gbk方式读取,导致乱码发生。
【解决方法1】文件产出时encoding设置为utf-8-sig
用excel打开csv时,excel会先检查文件的第一个字符,来了解这个文件是什么编码方式,如果这个字符是BOM,excel就知道用utf-8的方式打开这个文件。python自带了处理BOM的编码方式uft-8-sig,因此只需要在文件产出时将encoding设置为utf-8-sig。
如果文件不是由python产出的,只需要以utf-8方式读入再以utf-8-sig方式存储即可
【解决方法2】懒人法,适用只含简体中文的文件
用记事本打开,点击另存为,右下角编码方式选择“ANSI”,这个过程是把这个文件改成gbk编码格式,excel就是默认用gbk方式打开的。
参考: Python写的csv文件,如何让 Excel 双击打开不乱码? - 云+社区 - 腾讯云
对编码格式一窍不通的可以阅读以下网页
python笔记——二进制和文件编码_砍柴姑娘Jourosy的博客-CSDN博客
编码方式之ASCII、ANSI、Unicode概述 - 蓝海人 - 博客园
【简单总结】:
1. 首先需要了解 字符集 和 字符编码 两个概念,字符集定义了字符和二进制的一一对应关系,字符编码规定了如何将字符的编号存储到计算机中。
2. Unicode是字符集,包含了全球文字的唯一编码,utf-8是编码方式,将unicode以某种方式存储到计算机中。
3. 有些字符集和编码是结合在一起的,称作字符集还是编码都无所谓,比如ASCII,GBK
4. ANSI是各个国家地区不同扩展编码方式的总称,互不兼容(可以看出来通用性没有utf好)
5. 不同编码方式在转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。