博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
获取AJAX加载的内容
阅读量:6434 次
发布时间:2019-06-23

本文共 878 字,大约阅读时间需要 2 分钟。

1.有些网页内容使用AJAX加载,AJAX一般返回的是JSON,直接对AJAX地址进行post或get,就返回JSON数据了。

2.用抓包工具分析https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=0&limit=20 

提取https://movie.douban.com/j/chart/top_list?后面是get请求。可以传到data里面。

3.用抓包工具分析。

4.代码如下

1 # -*- coding:utf-8 -*-  2   3 import urllib,urllib2  4   5 url = "https://movie.douban.com/j/chart/top_list?"  6   7 header = {
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) App leWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36 "} 8 data = { 9 'type':'11', 10 'interval_id':'100:90', 11 'action':'', 12 'start':'0', 13 'limit':'110' 14 } 15 data = urllib.urlencode(data) 16 request = urllib2.Request(url, data=data, headers=header) 17 # 返回的是json数据 18 response = urllib2.urlopen(request).read() 19 print response

 

转载于:https://www.cnblogs.com/cuzz/p/7657788.html

你可能感兴趣的文章
Linux改变进程优先级的nice命令
查看>>
**16.app后端如何保证通讯安全--url签名
查看>>
win32窗口机制之CreateWindow
查看>>
C/C++ 一段代码区分数组指针|指针数组|函数指针|函数指针数组
查看>>
awakeFromNib小总结
查看>>
java知识大全积累篇
查看>>
图像特效——摩尔纹 moir
查看>>
Android OpenGL ES(十)绘制三角形Triangle .
查看>>
EAGAIN、EWOULDBLOCK、EINTR与非阻塞 长连接
查看>>
善于总结所做所学的内容
查看>>
Lua-简洁、轻量、可扩展的脚本语言
查看>>
org.hibernate.MappingException: entity class not found hbm可以解析,但是实体类不能解析...
查看>>
Android -- Drag&&Drop
查看>>
Extjs4:改变Grid单元格背景色(转载)
查看>>
中医无绝症[转载]
查看>>
ZendStudio10.6.1如何安装最新的集成svn小工具?
查看>>
PHP中$_SERVER的详细参数与说明
查看>>
jquery easyui datagrid mvc server端分页排序筛选的实现
查看>>
去了大公司就一定能学到很牛的技术么?
查看>>
methanol 模块化的可定制的网页爬虫软件,主要的优点是速度快。
查看>>