包含python3爬取数据存入mysql的词条

发布时间:2022-11-22

本文目录一览:

  1. python爬虫爬下来的数据怎么导入到MySQL
  2. python3爬虫爬取中国大学排名数据并写入mysql数据库并添加省分及添加
  3. 如何将该Python爬取的数据存入MySQL中,数据库表带id
  4. python3爬取的数据怎么导入mysql

python爬虫爬下来的数据怎么导入到MySQL

下载mysql.connector库 然后把爬虫爬到的数据通过mysql里面的insert语句查到数据库,当然也可以建表,一般我没用python建表 是先建好再写数据的

import mysql.connector
conn = mysql.connector.connect(
    user='root',
    password='root',
    host='127.0.0.1',
    port='3306',
    database='test_demo'
)
cursor = conn.cursor()
cursor.execute("INSERT INTO test_user(`uuid`,`user_name`,`user_level`) VALUES (%s,%s,%s)",[id, user_name, user_level])
cursor.execute("INSERT INTO tieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`) VALUES (%s,%s,%s,%s,%s,%s,%s)",[user_name,user_exp,user_sex, tieba_age,tieba_note, user_favorites, user_fans])
print('************** %s  %s 数据保存成功 **************'%(user_rank,user_name))
conn.commit()
cursor.close()

插进入就这样的

python3爬虫爬取中国大学排名数据并写入mysql数据库并添加省分及添加

网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

如何将该Python爬取的数据存入MySQL中,数据库表带id

python爬取到的json数据怎么存入到MySQL数据库中 json的数据json.loads进来以后会变成一个json的对象,你需要自己把python对象中的字段值取出来,拼成sql语句

python3爬取的数据怎么导入mysql

import pymysql #导入pymsql模块
# 链接数据库,注意port是int型,不是str,所以不要用引号
conn = pymysql.connect(
    user='root',
    password='root',
    host='127.0.0.1',
    port=3306,
    database='test_demo',
    use_unicode=True,
    charset="utf8"
)
# 获取游标
cursor = conn.cursor()
# 插入数据,注意看有变量的时候格式
cursor.execute("INSERT INTO tieba_user(`uuid`,`user_name`,`user_rank`,`user_level`,`level_status`,`tieba_name`) VALUES (%s,%s,%s,%s,%s,%s)", (user_id, user_name, user_rank, user_level, level_statu, tieba_name))
# 提交
conn.commit()
# 关闭连接
cursor.close()