本文目录一览：
- 1、如何抓取js动态生成的网页
- 2、Java_爬虫，如何抓取Js动态生成数据的页面？
- 3、java爬虫怎么抓取js动态生成的内容
- 4、怎么爬取网页的动态内容，很多都是js动态生
- 5、如何爬取网页中js动态生成的数据
- 6、java怎么用webcollector爬取js动态页面工程
如何抓取js动态生成的网页
可以考虑用phantonjs或者它的衍生物casperjs以及spookyjs。phontonjs是个无界面的浏览器，通过js代码来控制浏览器的浏览行为。casper在它上面封装了很多好用的API，很方便的实现点击、等待某元素出现等动作。spookyjs则是相当于nodejs版的casperjs，有了nodejs支持，你就很容易把抓到的内容写文件、数据等。
Java_爬虫，如何抓取Js动态生成数据的页面？
用nodejs+puppeteer，解析dom结构获取，或者直接观察返回数据的接口，看能不能直接调用
java爬虫怎么抓取js动态生成的内容
我用Jsoup写爬虫，一般遇到html返回没有的内容。但是浏览器显示有的内容。都是分析页面的http请求日志。分析页面JS代码来解决。
1、有些页面元素被隐藏起来了-换selector解决
2、有些数据保存在js/json对象中-截取对应的串，分析解决
3、通过api接口调用-伪造请求获得数据
还有一个终极方法
4、使用phantomjs或者casperjs这种headless浏览器
怎么爬取网页的动态内容，很多都是js动态生
抓取动态页面有两种常用的方法，一是通过JavaScript逆向工程获取动态数据接口（真实的访问路径），另一种是利用selenium库模拟真实浏览器，获取JavaScript渲染后的内容。但selenium库用起来比较繁琐，抓取速度相对较慢，所以第一种方法日常使用较多。
如何爬取网页中js动态生成的数据
String url = "";
try {
WebClient webClient = new WebClient(BrowserVersion.FIREFOX_10);
//设置webClient的相关参数
webClient.getOptions().setJavaScriptEnabled(true);
webClient.getOptions().setCssEnabled(false);
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
//webClient.getOptions().setTimeout(50000);
webClient.getOptions().setThrowExceptionOnScriptError(false);
//模拟浏览器打开一个目标网址
HtmlPage rootPage = webClient.getPage(url);
System.out.println("为了获取js执行的数据 线程开始沉睡等待");
Thread.sleep(3000);//主要是这个线程的等待 因为js加载也是需要时间的
System.out.println("线程结束沉睡");
String html = rootPage.asText();
System.out.println(html);
} catch (Exception e) {
}
java怎么用webcollector爬取js动态页面工程
使用WebCollector来爬取百度搜索引擎按照关键字搜索的结果页面，解析规则可能会随百度搜索的改版而失效。
* 我们希望继续爬取每条搜索结果指向的网页，这里统称为外链。
* 我们希望在访问外链时仍然能够知道外链处于搜索引擎的第几页、第几条，
* 所以将页号和排序信息放入后续的CrawlDatum中，为了能够区分外链和
* 搜索引擎结果页面，我们将其pageType设置为outlink，这里的值完全由 用户定义，可以设置一个任意的值
* 在经典爬虫中，每个网页都有一个refer信息，表示当前网页的链接来源。
* 例如我们首先访问新浪首页，然后从新浪首页中解析出了新的新闻链接，
* 则这些网页的refer值都是新浪首页。WebCollector不直接保存refer值，
* 但我们可以通过下面的方式，将refer信息保存在metaData中，达到同样的效果。
* 经典爬虫中锚文本的存储也可以通过下面方式实现。
* 在一些需求中，希望得到当前页面在遍历树中的深度，利用metaData很容易实现
* 这个功能，在将CrawlDatum添加到next中时，将其depth设置为当前访问页面 的depth+1即可。
