关于爬取妹子图到mysql数据库的信息

发布时间:2022-11-13

本文目录一览:

  1. 怎么把爬取的数据放到mysql数据库里
  2. 如何将图片储存在MySQL数据库里?
  3. python爬虫爬下来的数据怎么导入到MySQL

怎么把爬取的数据放到mysql数据库里

根据爬取到的数据的字段分类,设计mysql表进行存错,文本太长建议设置成text类型,就是普通的jdbc操作。。

如何将图片储存在MySQL数据库里?

解决方法一般有两种:

  1. 将图片保存的路径存储到数据库;
  2. 将图片以二进制数据流的形式直接写入数据库字段中。 以下为具体方法:

一、保存图片的上传路径到数据库:

string uppath="";//用于保存图片上传路径
//获取上传图片的文件名
string fileFullname = this.FileUpload1.FileName;
//获取图片上传的时间,以时间作为图片的名字可以防止图片重名
string dataName = DateTime.Now.ToString("yyyyMMddhhmmss");
//获取图片的文件名(不含扩展名)
string fileName = fileFullname.Substring(fileFullname.LastIndexOf("\\") + 1);
//获取图片扩展名
string type = fileFullname.Substring(fileFullname.LastIndexOf(".") + 1);
//判断是否为要求的格式
if (type == "bmp" || type == "jpg" || type == "jpeg" || type == "gif" || type == "JPG" || type == "JPEG" || type == "BMP" || type == "GIF")
{
    //将图片上传到指定路径的文件夹
    this.FileUpload1.SaveAs(Server.MapPath("~/upload") + "\\" + dataName + "." + type);
    //将路径保存到变量,将该变量的值保存到数据库相应字段即可
    uppath = "~/upload/" + dataName + "." + type;
}

二、将图片以二进制数据流直接保存到数据库:

引用如下命名空间:

using System.Drawing;
using System.IO;
using System.Data.SqlClient;

设计数据库时,表中相应的字段类型为 image

保存:

//图片路径
string strPath = this.FileUpload1.PostedFile.FileName.ToString();
//读取图片
FileStream fs = new System.IO.FileStream(strPath, FileMode.Open, FileAccess.Read);
BinaryReader br = new BinaryReader(fs);
byte[] photo = br.ReadBytes((int)fs.Length);
br.Close();
fs.Close();
//存入
SqlConnection myConn = new SqlConnection("Data Source=.;Initial Catalog=stumanage;User ID=sa;Password=123");
string strComm = " INSERT INTO stuInfo(stuid,stuimage) VALUES(107,@photoBinary)";
SqlCommand myComm = new SqlCommand(strComm, myConn);
myComm.Parameters.Add("@photoBinary", SqlDbType.Binary, photo.Length);
myComm.Parameters["@photoBinary"].Value = photo;
myConn.Open();
if (myComm.ExecuteNonQuery() > 0)
{
    this.Label1.Text = "ok";
}
myConn.Close();

读取:

...连接数据库字符串省略
mycon.Open();
SqlCommand command = new SqlCommand("select stuimage from stuInfo where stuid=107", mycon);
byte[] image = (byte[])command.ExecuteScalar();
//指定从数据库读取出来的图片的保存路径及名字
string strPath = "~/Upload/zhangsan.JPG";
string strPhotoPath = Server.MapPath(strPath);
//按上面的路径与名字保存图片文件
BinaryWriter bw = new BinaryWriter(File.Open(strPhotoPath,FileMode.OpenOrCreate));
bw.Write(image);
bw.Close();
//显示图片
this.Image1.ImageUrl = strPath;

采用这两种方式可以根据实际需求灵活选择。

python爬虫爬下来的数据怎么导入到MySQL

下载 mysql.connector 库。 然后把爬虫爬到的数据通过 mysql 里面的 insert 语句查到数据库,当然也可以建表,一般我没用 python 建表,是先建好再写数据的。

import mysql.connector
conn = mysql.connector.connect(
    user='root',
    password='root',
    host='127.0.0.1',
    port='3306',
    database='test_demo'
)
cursor = conn.cursor()
cursor.execute("INSERT INTO test_user(`uuid`,`user_name`,`user_level`) VALUES (%s,%s,%s)", [id, user_name, user_level])
cursor.execute("INSERT INTO tieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`) VALUES (%s,%s,%s,%s,%s,%s,%s)", [user_name, user_exp, user_sex, tieba_age, tieba_note, user_favorites, user_fans])
print('************** %s  %s 数据保存成功 **************'%(user_rank,user_name))
conn.commit()
cursor.close()

插入数据就这样的。