Python爬虫 requests库 get/post请求 获取响应内容_python requests.post status_code-程序员宅基地

技术标签: python  Python爬虫  http  

import requests
r=requests.get('http://www.lingzhilab.com/resources/getAllRes?page=1')
# u'文本内容'  bytes 类型
print(r.content)

# 获取内容并设置编码
print(r.content.decode('utf-8')) 

# 文本编码
print(r.apparent_encoding) # utf-8

# 响应状态码
print(r.status_code) # 200

# 文本内容
print(r.text)

# JSON解码器
print(r.json())

传递URL参数:

GET请求

import requests
key_dist={'page':1,'page':2}

# 原本url地址:http://www.lingzhilab.com/resources/getAllRes?page=1
r=requests.get('http://www.lingzhilab.com/resources/getAllRes',params=key_dist)

# url正确编码
print(r.url) # http://www.lingzhilab.com/resources/getAllRes?page=2

# u'文本内容'
print(r.text)

POST请求

import requests
import json
key_dist={'page':1,'page':2}

# 原本url地址:http://www.lingzhilab.com/resources/getAllRes?page=1
#r=requests.post('http://www.lingzhilab.com/resources/getAllRes',data=key_dist)

r=requests.post('http://www.lingzhilab.com/resources/getAllRes',data=json.dumps(key_dist)) # json参数

# url正确编码
print(r.url) # http://www.lingzhilab.com/resources/getAllRes

# u'文本内容'
print(r.text)

设置超时时间

秒数设置为0.001秒,会抛出异常,一般会把这个值设置为20秒

import requests
link="http://www.lingzhilab.com/resources/getAllRes?page=1"

# 原本url地址:http://www.lingzhilab.com/resources/getAllRes?page=1
r=requests.get(link,timeout=0.001)

定制请求头

import requests
headers={
'Host': 'www.lingzhilab.com',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36'
}
r=requests.get('http://www.lingzhilab.com/',headers=headers)
print(r.status_code) # 200

构造session

headers={
'session':'JSESSIONID',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36'
}

reqeusts底层是urllib库

参考:Python3 Requests 模块 - 梦徒 - 博客园

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_27694835/article/details/108613607

智能推荐

操作系统实验一:CPU调度(优先级调度、时间片轮转调度)_操作系统实验编写程序模拟处理机调度,参照图3。 (1) 时间片轮转 (2) 动态优先权调-程序员宅基地

文章浏览阅读2.2k次,点赞3次,收藏54次。操作系统实验一,采用优先级调度算法和时间片轮转调度算法实现进程的动态添加、挂起、解挂、调度信息公示_操作系统实验编写程序模拟处理机调度,参照图3。 (1) 时间片轮转 (2) 动态优先权调

C# WinForm 选择打开文件和保存文件_winform 打开文件-程序员宅基地

文章浏览阅读3.7k次。属性我们可以文件的设置默认的保存名称,这里我们只需要填写名称即可,不需要文件的保存路径,还有一些其他配置写在代码注释中了。属性获取文件保存位置的完整路径,之后通过 IO 将数据写入即可。如果你想在用户在选择框取消选择时做一些事情,你可以通过。如果用户想要打开一个保存文件的窗口,就需要选用。如果用户需要选择多个文件,可以通过设置。当用户选择完毕文件后,我们可以通过。属性拿到的是第一个文件的路径,而。可以设置可以保存的格式,通过。和打开文件时一样,我们可以通过。属性可以获取到选择的文件。属性来开启多选,此时。_winform 打开文件

CoreData数据库加密-程序员宅基地

文章浏览阅读280次。iOS App 如果使用sqllite数据库存储,就存在数据库安全问题,可以采用一定方式对数据库文件加密或内容进行加密.以下是一些加密的思路和加密方式1.对数据库文件进行加密2.对存储的内容进行加密,比如对某些重要字段进行加密,加密方式可以采用AES ,Base64,MD5等,其中MD5加密不可逆.以下内容采用SQLCipher对CoreData数据库内容进行加密. SQL..._coredata 加密

Python官方网站地址及源代码_python源代码网站-程序员宅基地

文章浏览阅读930次。这些示例代码只是Python语言的冰山一角,Python官方网站提供了更多的教程、文档和资源,供开发者学习和参考。通过访问Python官方网站,您可以深入了解Python语言的各个方面,并掌握其强大的功能和用途。以上代码定义了两个变量x和y,并对它们进行加法运算,将结果保存在变量result中,并通过print函数输出结果。以上代码定义了一个函数add_numbers,用于计算两个数的和,并通过调用函数并输出结果来演示函数的使用。以上代码根据age的值判断一个人是否成年,并输出相应的结果。_python源代码网站

ibatis 使用文档 (上篇)-程序员宅基地

文章浏览阅读108次。(代码下载地址:http://download.csdn.net/detail/partner4java/4760043)iBATIS一词来源于“internet”和“abatis”的组合,是一个基于Java的持久层框架。创建于2002年,后很快加入了Apache,但是2010年又易主到google code,并改名为MyBatis。本篇文章主要是基于iBATIS来进行展示,后面会再发..._apache ibatis文档

java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument-程序员宅基地

文章浏览阅读6.1k次。执行maven命令时报错信息如下:Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at com.google.inject.Key.ensureRetainedAtRuntime(Key.java:341) at com.google.in...

随便推点

前端Promise相关面试题以及知识点_前端面试题-使用 promise 是为了解决什么问题-程序员宅基地

文章浏览阅读2.3k次,点赞4次,收藏14次。什么是Promise?Promise 是异步编程的一种解决方案:从语法上讲,promise是一个对象,从它可以获取异步操作的消息;从本意上讲,它是承诺,承诺它过一段时间会给你一个结果。promise有三种状态:pending(等待态),fulfiled(成功态),rejected(失败态);状态一旦改变,就不会再变。创造promise实例后,它会立即执行。我们用Promise来解决什么问题?promise是用来解决两个问题的:回调地狱,代码难以维护, 常常第一个的函数的输出是第二个函数._前端面试题-使用 promise 是为了解决什么问题

request和response的区别!!!-程序员宅基地

文章浏览阅读3.7w次,点赞141次,收藏542次。文章目录一、request和response介绍二、request对象(一)获取请求参数(二)实现请求转发(三)作为域对象使用(四)案例:模拟查询所有门店功能三、response对象(一)向客户端发送数据(二)实现重定向一、request和response介绍request是代表HTTP请求信息的对象,response是代表HTTP响应信息的对象。当浏览器发请求访问服务器中的某一个Servlet时,服务器将会调用Servlet中的service方法来处理请求。在调用service方法之前会创_request和response

Android中获取当前位置的使用步骤_为获取旅行中寻找现在的位置及我的位置信息而使用-程序员宅基地

文章浏览阅读8k次,点赞3次,收藏4次。在Android中得到当前位置的步骤1.在AndroidManifest.xml中声明权限android.permission.ACCESS_FINE_LOCATION(或者android.permission.ACCESS_COARSE_LOCATION)2.声明并实例化一个L_为获取旅行中寻找现在的位置及我的位置信息而使用

【Android】【Android相关网址】Android官方网站索引_android官网-程序员宅基地

文章浏览阅读1.8k次。Android官方网站索引_android官网

进程管理_什么是程序, 什么是进程?进程的调度策略有几种方式?-程序员宅基地

文章浏览阅读1.7w次,点赞77次,收藏355次。进程管理_什么是程序, 什么是进程?进程的调度策略有几种方式?

笔记 ~ 第四章 - 4.3 视图、审计、数据加密及其他安全保护_如何理解视图对机密的数据提供安全保护-程序员宅基地

文章浏览阅读964次。๐•ᴗ•๐1. 视图机制2. 审计(Audit)3. 数据加密4. 其他安全性保护_如何理解视图对机密的数据提供安全保护

推荐文章

热门文章

相关标签