HTTP 核心知识完整整理:HTTP 状态码、请求方法、通用与常用头部等
本文整合 HTTP 状态码分类与全部注册值、请求方法(附 curl 示例)、认证方式(含多种 curl 示例)、通用与开发常用头部、Content-Type 高频值,以及 Python 识别国内外浏览器/OS 的完整方案。
基于Python网络爬虫 电子产品信息查询可视化系统- 毕业设计 +LW文档
## 摘要随着电子商务的快速发展,京东、淘宝等平台上的电子产品信息呈爆炸式增长。用户在面对海量手机商品时,难以快速获取结构化、可对比的决策依据。本文设计并实现了一个基于Python网络爬虫的电子产品信息查询可视化系统。
[爬虫] 系列⑥requests 上手:比 urllib 好用十倍
合规提醒:本文仅用于学习公开数据采集技术,实际爬取请遵守目标网站 robots 协议和相关法律法规。urllib 能用但写起来啰嗦,requests 是 Python 生态最流行的 HTTP 库,一行代码发请求。这篇把 requests 的核心用法一次讲透。
终端发 HTTP 请求用 xh,比 curl 好记,比 httpie 启动还快
curl 我用了十几年,但每次发个带 JSON body 的 POST,我还是得停下来想一秒:-X POST 要不要写?-H "Content-Type: application/json" 拼对了吗?body 是 -d 还是 --data-raw?引号怎么转义?
[爬虫] 系列④urllib 发请求:Python 自带爬虫库
Python 自带一个 urllib 库,不用 pip install 就能发 HTTP 请求。虽然后面你大概率会用 requests,但 urllib 是理解 Python 网络请求的基础,面试也常问它和 requests 的区别。
[爬虫] 系列①爬虫第一步:搞懂 HTTP 请求响应
写爬虫之前先搞懂一件事:浏览器输入网址后到底发生了什么?你看到的网页,本质是服务器返回的一段 HTML 文本。爬虫要做的,就是模拟这个 "请求 - 响应" 过程。一、HTTP 是什么HTTP(超文本传输协议)是浏览器和服务器之间对话的规则。你在浏览器输入www.baidu.
微软等紧急修复“HTTP2Shell”漏洞,恐成下一个PHP级别安全危机
一个被称为“HTTP2Shell”的严重Brotli压缩漏洞可能导致内存损坏和远程代码执行攻击。该漏洞影响广泛使用的软件,包括Node.js、Python软件包以及.NET应用程序。各厂商已发布补丁,尽管目前尚未发现实际野外利用案例,但管理员仍被敦促立即更新系统。
安全大逃杀:https 证书、PHP、Node.js 三连爆
世界的草台班子时间到了eMudhra有 8 张中间证书,私钥本该是 116 位的随机数,实际只是 1 到 3 位的小整数,从 1 往上试,最多 255 次就能试出来。
从零教你配置python下最流行的web框架fastAPI
刚碰FastAPI,配置就劝退,第一个接口怎么跑。我刚开始学FastAPI,卡住的不是写接口,而是Python版本、虚拟环境、依赖和启动命令。后来才明白,先把最小开发闭环跑通,比急着写业务重要。下面按普通人的顺序,说一遍从零到第一个接口的路线。选型先别纠结太久。
Scrapling:HTTP 请求、隐身浏览器、解析器和爬虫框架
图:Scrapling 官方封面(来源:项目仓库 docs/assets/main_cover.png)我又一次接到"把这个网站的数据抓下来"的需求。打开网站一看,数据靠 JavaScript 渲染,接口藏着 Cloudflare 的验证后面。