本文目录一览:
- 1、Python类型可以转为JSON的number类型
- 2、python怎么转化成json格式
- 3、python处理csv数据怎么更有效率
- 4、如何将json的数据转化成csv的数据格式
- 5、如何将CSV格式转换成JSON格式
Python类型可以转为JSON的number类型
python数据类型转化为JSON格式的数据有两种方式。
第一种方式是,dumps(dict1)是将python数据类型转化为JSON类型的字符串string,dump(dict1,sp)将python数据类型转化为文件流,sp表示写入文件的路径。第二种方式是通过dumps转化成字符串,然后再写入。
JSON格式的数据也可以转化为python数据类型。loads(str)将JSON字符串转化成python类型的数据,在使用loads操作字符串load(str,fp)将后缀为json文件转化成python格式的数据,load操作文件流。因为文件读写操作时有可能产生IOError,一旦出错,后面的close方法就不能执行到,为了保证是否出错都能关闭文件,使用withopen文件操作流。
python怎么转化成json格式
如果datas是Python的原始数据,并且datas中没有非ascii码,可以使用如下语句转换为json格式:
import
json
json.dumps(datas)
当datas中含有中文等非ascii字符时,可以使用如下参数:
json.dumps(datas,
ensure_ascii=False)
如果想美化输出格式,可以使用indent参数:
json.dumps(datas,
indent=4)
python处理csv数据怎么更有效率
因为python处理json比较方便,所以首先测试一下csv和json哪个快。
首先生成测试数据
# coding: utf-8
import json
import csv
import random
from string import letters
low = 1e2 # 3-10位数字
hi = 1e11
cnt = 100000 # 10万条
total = {}
for _ in range(cnt):
total[str(random.randrange(low, hi))] = "".join(random.sample(letters, 10))
with open("data.json", "w") as f:
f.write(json.dumps(total, ensure_ascii=False))
with open("data.csv", "w") as f:
writer = csv.writer(f, delimiter=',')
writer.writerows(total.items())
然后对比由这两者生成dict的速度
# coding: utf-8
import json
import csv
from time import clock
t0 = clock()
total1 = json.load(open("data.json"))
t1 = clock()
total2 = {}
with open("data.csv") as f:
reader = csv.reader(f)
for k, v in reader:
total2[k] = v
t2 = clock()
print "json: %fs" % (t1 - t0)
print "csv: %fs" % (t2 - t1)
输出是:
json: 0.109953s
csv: 0.066411s
果然csv还是蛮快的,那我们就用它吧。
接下来解决更新问题。我不知道题主对于重复项需要怎么处理,所以都写了。
# 先生成数据,同之前的做法。
low = 1e2
hi = 1e11
cnt = 100000
new = {}
for _ in range(cnt):
new[str(random.randrange(low, hi))] = "".join(random.sample(letters, 10))
# 找出重复项,因为是随机生成的数据,所以恰好没有重复项
duplicate = {k:v for k, v in new.items() if k in total}
# 输出重复项
print(json.dumps(duplicate, ensure_ascii=False, indent=4))
# 1. 如果重复项是用new覆盖total
total.update(new)
# 2. 如果是保留total
new.update(total)
total = new
# 然后再写回csv文件中
with open("data.csv", "w") as f:
writer = csv.writer(f, delimiter=',')
writer.writerows(total.items())
至于运行时间,如果不算上输出重复项的时间,不到0.5s。算上的话大概也就0.8s。
如何将json的数据转化成csv的数据格式
可以试试在线转换:
地址:网页链接
1 选择上传文件
2 点击转换,等待就可以了,稍后就会有文件下载提示
该网站支持多级json格式,亲测可用
如何将CSV格式转换成JSON格式
# 下面的工具可以方便的将CSV格式文件转换成json文件格式
import sys, json
tip = """
请确保:
1. CSV格式是UTF-8
2. CSV第一行是键值
用法:
python csv2json.py foobar.csv
其中foobar.csv是需要转换的源数据文件
运行环境:
Python 3.4.3
日期:
2015年12月29日
"""
print(tip)
# 获取输入数据
input_file = sys.argv[1]
lines = open(input_file, "r", encoding="utf_8_sig").readlines()
lines = [line.strip() for line in lines]
# 获取键值
keys = lines[0].split(',')
line_num = 1
total_lines = len(lines)
parsed_datas = []
while line_num total_lines:
values = lines[line_num].split(",")
parsed_datas.append(dict(zip(keys, values)))
line_num = line_num + 1
json_str = json.dumps(parsed_datas, ensure_ascii=False, indent=4)
output_file = input_file.replace("csv", "json")
# write to the file
f = open(output_file, "w", encoding="utf-8")
f.write(json_str)
f.close()
print("解析结束!")