漫步远方,心荡神往

Python 抓取 Flex (Flash) 技术数据传输

最近发现了一个网站中国农业信息网,他有个数据请求是以 amf 的方式请求数据,以前没有遇到过。所以网上了解一下,找到了python 中的第三方包 pyamf,能够成功获取到展示数据。 其实,用 flash 这种方式传输数据的网站已经很少了,基本上都怀抱 H5。所以,我们来了解下怎么获取基于 Flex 与 Flash 技术的数据抓取。工具 Pyamf 第三方包,Charles 抓包软件(Fiddler 不能抓取到我们需要的包) 分析是如何构造 API 请求的。 我们点击时发现其中的数据请求方式与我们常见的网站不太一样,这是一种 amf 请求的方式。 【百度百科】A

Python 揭秘北京房租

前一段时间刚接触 Python,为了学习 Python 基础语法,我使用 Python 爬取了北京的网站租房信息,一周前北京的出租房屋还有将近 1.4 万套,然而最近一两天重新爬取数据,发现出租房屋变成了 8 千套,想必大家都可能想到最近发生在什么?好的,废话少说,我们一起来研究研究 Python 爬虫、数据分析等技术,找出地区、放假、出租面积、建筑年代、楼层等因素对出租价格有何影响? 主要分为以下步骤:爬取数据、过滤数据、数据分析、总结。 数据抓取 以北京链家网站作为爬取目标,将 8 月 24 日与 8 月 31 日两次的数据来分析最近一周北京链家房屋出