java通过url获取网页内容,怎么获取网页URL

发布时间:2022-11-23

本文目录一览:

  1. 如何利用java中url实现网页内容的抓取
  2. Java访问指定URL并获取网页源代码
  3. java中如何根据一个网址获得该网页的源代码?

如何利用java中url实现网页内容的抓取

  • 在工程中导入Jsoup.jar包
  • 获取网址url指定HTML或者文档指定的body
  • 获取网页中超链接的标题和链接
  • 获取指定博客文章的内容
  • 5
  • 获取网页中超链接的标题和链接的结果

Java访问指定URL并获取网页源代码

  1. 编写useSourceViewer 类的基本框架,该类仅包括无返回值的main ()方法,该方法从参数中获取URL,通过输入缓冲和输出缓冲将该URL 原码输出。
  2. 编写useSourceViewer 类,代码如下:
import java.net.*;
import java.io.*;
public class useSourceViewer {
    public static void main(String[] args) {
        if (args.length > 0) {
            try {
                // 读入URL
                URL u = new URL(args[0]);
                InputStream in = u.openStream();
                // 为增加性能存储输入流
                in = new BufferedInputStream(in);
                // 将输入流连接到阅读器
                Reader r = new InputStreamReader(in);
                int c;
                while ((c = r.read()) != -1) {
                    System.out.print((char) c);
                }
                Object o = u.getContent();
                System.out.println("I got a " + o.getClass().getName());
            } catch (MalformedURLException e) {
                System.err.println(args[0] + " is not a parseable URL");
            } catch (IOException e) {
                System.err.println(e);
            }
        } // end if
    } // end main
} // end SourceViewer

java中如何根据一个网址获得该网页的源代码?

package test;
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
public class HttpTest {
    private String u;
    private String encoding;
    public static void main(String[] args) throws Exception {
        HttpTest client = new HttpTest("", "UTF-8");
        client.run();
    }
    public HttpTest(String u, String encoding) {
        this.u = u;
        this.encoding = encoding;
    }
    public void run() throws Exception {
        URL url = new URL(u); // 根据链接(字符串格式),生成一个URL对象
        HttpURLConnection urlConnection = (HttpURLConnection) url.openConnection(); // 打开URL
        BufferedReader reader = new BufferedReader(new InputStreamReader(urlConnection.getInputStream(), encoding)); // 得到输入流,即获得了网页的内容
        String line; // 读取输入流的数据,并显示
        while ((line = reader.readLine()) != null) {
            System.out.println(line);
        }
    }
}

根据具体问题类型,进行步骤拆解/原因原理分析/内容拓展等。 具体步骤如下:/导致这种情况的原因主要是……