本文目录一览:
如何将CSV格式转换成JSON格式
# 下面的工具可以方便的将CSV格式文件转换成json文件格式
import sys, json
tip = """
请确保:
1. CSV格式是UTF-8
2. CSV第一行是键值
用法:
python csv2json.py foobar.csv
其中foobar.csv是需要转换的源数据文件
运行环境:
Python 3.4.3
日期:
2015年12月29日
"""
print(tip)
# 获取输入数据
input_file = sys.argv[1]
lines = open(input_file, "r", encoding="utf_8_sig").readlines()
lines = [line.strip() for line in lines]
# 获取键值
keys = lines[0].split(',')
line_num = 1
total_lines = len(lines)
parsed_datas = []
while line_num total_lines:
values = lines[line_num].split(",")
parsed_datas.append(dict(zip(keys, values)))
line_num = line_num + 1
json_str = json.dumps(parsed_datas, ensure_ascii=False, indent=4)
output_file = input_file.replace("csv", "json")
# write to the file
f = open(output_file, "w", encoding="utf-8")
f.write(json_str)
f.close()
print("解析结束!")
linux 下如何使用shell 把处理好的csv文件导入到数据库下
linux 下,可以使用cli程序把csv文件导入到数据库。具体代码如下:
$ORACLE_HOME/bin/sqlplus -S username/password@instanceName /dev/null 21 !!
#对sqlplus作一些设置,使之只输出我们需要的文本
set echo off
set pagesize 0
set verify off
set feedback off
set termout off
set linesize 3000
set trimspool on
#查询输出到临时文件
spool /tmp/some_tmp.csv
#select语句
select column1||','||column2||','||column3 ....
from some_table where condition
spool off
#这里可以添加多个查询,且每个查询可输出到不同的文件,如下面注释
#spool /tmp/some_tmp.csv
#select column1||','||column2||','||column3 ....
#from some_table where condition
#spool off
set markup HTML off
quit
!!
#计算记录总行数,如果是0则不发邮件
NUM=`cat /tmp/some_tmp.csv | wc -l`
if[ $NUM -gt 0 ]
then
#先写excel的每列的title
echo 'Title_Of_Column1, Title_Of_Column2, ....Title_Of_ColumnN' /tmp/attachement.csv
#数据正文
cat /tmp/some_tmp.csv /tmp/attachement.csv
#发邮件
(
echo "From: user@somehost.com"
echo "To: user1@somehost.com"
echo "MIME-Version: 1.0"
echo "Content-Type: multipart/mixed;"
echo ' boundary="A_Boundary_Name_You_Can_Change_It"'
echo "Subject: Subject"
echo ""
echo ""
#附件分隔符,上面的boundary前面加--
echo "--A_Boundary_Name_You_Can_Change_It"
echo 'Content-Transfer-Encoding: x-uuencode'
echo 'Content-Type: text/csv;'
echo ' name="attachement.csv"'
echo 'Content-Disposition: attachment;'
echo ' filename="attachement.csv"'
echo ""
uuencode /tmp/attachement.csv attachement.csv
echo "--A_Boundary_Name_You_Can_Change_It"
#附件结束
) | mailx -t
fi
#删除临时文件
rm -f /tmp/*.csv
exit 0
linux下怎么用shell修改csv格式
#cat test.csv |awk -F, '{print $1,$2,"hello world",$3}'|sed 's/ /,/g'
1,男,hello,world,甲
2,女,hello,world,丁
3,男,hello,world,乙
mongo 导出.csv
1、先打开PowerShell
(win10可在搜索框直接搜索PowerShell,
其他系统
①打开开始菜单,可以直接按下windows键,或用鼠标点击开始;
②点击“所有程序”按钮;
③ 在开始菜单中找到附件并打开;
④在附件中找到“windows powershell”文件夹并打开;
⑤找到windows powershell程序并点击;
⑥windows powershell工具自动打开)
2、找到MongoDB的安装路径,进入 bin 目录
cd 目录名 就可以进入了,如果要进入多层目录用/隔开 cd 目录名/目录名)
3、执行 .\mongoexport --db dbname -c dbcollection--out ./data.csv 命令
csv后缀也可以改成json
4、进入MongoDB下的bin目录,即可找到刚生成的zdic.csv文件或生成的json文件