本文目录一览：

• 1、xhr格式视频如何下载
• 2、请问下java中封装了json数据，在js中如何获取json数据来页面展示？
• 3、Excel如何抓取网页数据之JSON数据抓取
• 4、用js怎么把这个json拿下来自己网站用
• 5、请教高手，网页数据抓取问题？

xhr格式视频如何下载

首先打开需要下载的视频，我选择的是分析化学之仪器分析的网课视频，按F12打开控制台

打开XHR，看到video关键字了吗？这次我就告诉你这就是视频相关内容的异步加载数据。

哦，原来是JSON数据啊，值得注意的是，每个视频都要三个清晰度，而quality123分别代表了标清高清与超高清

讽刺的是，高清与超高清的视频大小竟然是一样的，我只能呵呵了

看到videoUrl里面的mp4了吗？说明这是mp4格式的学习视频

在浏览器中打开，就是我想要的内容了

而其它视频的格式不一定是这个，不同的格式有不同的处理方法，还要在最后加一步格式转换

如果是m3u8，还要借助其他程序转换

如果要批量爬取，就要用request请求到json数据并得到url，再请求就可以了，用selenium模拟值得一试

操作方法

打开电影网站。示例网站

按下F12召唤开发者工具，去到Network一栏。往下看，有XHR，JS，CSS等等。我们只需要看到XHR这个标签。点进去以后，你发现左侧多了一堆东西，其中有一些内容包含了m3u8字符串。选中那一项，右侧就会有Request URL这样的东西（箭头所指）。我们把这个URL复制（如果URL不是以m3u8结尾就把多余的部分去掉）。

回到m3u8x。首先勾选Show options以及One…One。

然后将步骤2得到的m3u8链接分别贴上到箭头所指位置。这里顺便科普一下，大家应该留意到一些视频是可以切换解析度，这个就是Quality URL出现的原因。如果没法选择解析度 (URL/path) m3u8 和 Quality URL是一样。Default Download Folder 和 Name就不用多讲了吧。

一切准备就绪之后就点击Download。如果没有问题，点击下载之后应该会弹出类似的界面。点Start Download即可静待花开。

最后在Default Download Folder能找到一个文件夹，名字就和Name那一栏写的一样，里面就有你要的视频

请问下java中封装了json数据，在js中如何获取json数据来页面展示？

你用的是response.sendRedirect执行的跳转(不是foward)，那么如果你这个index.jsp和你的java文件在一个project项目里的(术语叫同一个域内)。

1.用session来存储java里的json，无论是json object还是String格式的json. 用setAttribute方法放到Session里面，然偶跳转到index,jsp

2.在jsp里同样用session.getattribute获得这个json数据，放到表单的某个位置，比如说放到文本框内，作为文本框的value.

3.jsp里面的js代码，getElementById或者这个文本框的value，然后alert出来

Excel如何抓取网页数据之JSON数据抓取

打开Chrome，在拉勾网搜索深圳市的“数据分析”职位，使用检查功能查看网页源代码，发现拉勾网有反爬虫机制，职位信息并不在源代码里，而是保存在JSON的文件里，因此我们直接下载JSON，并使用字典方法直接读取数据。

抓取网页时，需要加上头部信息，才能获取所需的数据。

在搜索结果的第一页，我们可以从JSON里读取总职位数，按照每页15个职位，获得要爬取的页数。再使用循环按页爬取，将职位信息汇总，输出为CSV格式。

程序运行如图：

抓取结果如图：

数据清洗占数据分析工作量的大头。在拉勾网搜索深圳市的“数据分析”职位，结果得到369个职位。查看职位名称时，发现有4个实习岗位。由于我们研究的是全职岗位，所以先将实习岗位剔除。由于工作经验和工资都是字符串形式的区间，我们先用正则表达式提取数值，输出列表形式。工作经验取均值，工资取区间的四分位数值，比较接近现实。

4. 词云

我们将职位福利这一列的数据汇总，生成一个字符串，按照词频生成词云实现python可视化。以下是原图和词云的对比图，可见五险一金在职位福利里出现的频率最高，平台、福利、发展空间、弹性工作次之。

5. 描述统计

可知，数据分析师的均值在14.6K，中位数在12.5K，算是较有前途的职业。数据分析散布在各个行业，但在高级层面上涉及到数据挖掘和机器学习，在IT业有长足的发展。

我们再来看工资的分布，这对于求职来讲是重要的参考：

工资在10-15K的职位最多，在15-20K的职位其次。个人愚见，10-15K的职位以建模为主，20K以上的职位以数据挖掘、大数据架构为主。

我们再来看职位在各区的分布：

数据分析职位有62.9%在南山区，有25.8%在福田区，剩下少数分布在龙岗区、罗湖区、宝安区、龙华新区。我们以小窥大，可知南山区和福田区是深圳市科技业的中心。

我们希望获得工资与工作经验、学历的关系，由于学历分三类，需设置3个虚拟变量：大专、本科、硕士。多元回归结果如下：

在0.05的显著性水平下，F值为82.53，说明回归关系是显著的。t检验和对应的P值都小于0.05表明，工作经验和3种学历在统计上都是显著的。另外，R-squared的值为0.41，说明工作经验和学历仅仅解释了工资变异性的41%。这点不难理解，即使职位都叫数据分析师，实际的工作内容差异比较大，有的只是用Excel做基本分析，有的用Python、R做数据挖掘。另外，各个公司的规模和它愿意开出的工资也不尽相同。而工作内容的差异和公司的大方程度是很难单凭招聘网页上的宣传而获得实际数据，导致了模型的拟合优度不是很好这一现实。

用js怎么把这个json拿下来自己网站用

我能想到的就两种方法，你试试

ajax,

创建script标签，src填写你的这个网址。在js中使用

请教高手，网页数据抓取问题？

方法一：直接抓取网页源码

优点：速度快。

缺点：1，正由于速度快，易被服务器端检测，可能会限制当前ip的抓取。对于这点，可以尝试使用ip代码解决。

2，如果你要抓取的数据，是在网页加载完后，js修改了网页元素，无法抓取。

3，遇到抓取一些大型网站，如果需要抓取如登录后的页面，可能需要破解服务器端帐号加密算法以及各种加密算法，及其考验技术性。

适用场景：网页完全静态化，并且你要抓取的数据在网页首次加载完成就加载出来了。涉及登录或者权限操作的类似页面未做任何帐号加密或只做简单加密的。

当然，如果该网页你抓取的数据，是通过接口获得的json,那么，你就更幸福的，直接抓取json页面即可。

对于有登录的页面，我们如何拿到他的登录页之后的源码呢？

首先我要介绍一下，对于session保存帐号信息的情况下，服务器是如何确定该用户身份的。

首先，用户登录成功后，服务器端会将用户的当前会话信息保存到session中，每一个session有一个唯一标志sessionId。则用户访问这个页面，session被创建后，就会接收到服务器端传回的sessionId,并将其保存到cookie中，因此，我们可以用chrome浏览器打开检查项，查看当前页面的jsessionId。下次用户访问需要登录的页面时，用户发送的请求头会附上这个sessionId,服务器端通过这个sessionId就可以确定用户的身份。

这里，我搭建了一个简单的jsp登录页面，登录后的帐号信息保存在服务器端session中。

思路：1，登录。2，登录成功后获得cookie。3,将cookie放到请求头中，向登录页发送请求。

附上java版本的代码及python

java版：