谢乾坤 | Kingname

GNE上线4天，已经有很多朋友通过它来编写自己的新闻类网页通用爬虫。

在写 Python 代码的时候，大家可能会在不知不觉中使用一些设计范式。我们来看两个例子。

现在我有10亿条微博正文，并从同事手上拿到了15000条需要过滤的垃圾信息正则表达式，只要微博正文符合任何一条正则表达式，就删除这条微博。

Python 初学者在阅读一些 Python 开源项目时，常常会看到一个叫做__init__.py的文件。下图为著名的第三方库requests的源代码：

那么__init__.py有什么用呢？本文介绍它的两个用途。

对不少 Python 初学者来说，Python 导入其他模块的方式让他们很难理解。什么时候用import xxx？什么时候用from xxx import yyy？什么时候用from xxx.yyy import zzz？什么时候用from xxx import *？

这篇文章，我们来彻底搞懂这个问题。

在使用推特开放API获取推文的时候，会发现推文的发布时间是下面这样的：

1
2
3
4
5

{
    ...
    "created_at": "Tue Dec 24 10:51:15 +0000 2019",
    ...
}

现在我想把它转换为2019-12-24 18:51:15的形式，应该如何操作呢？

在使用 yield 压平嵌套字典有多简单？这篇文章中，我们讲到，要把一个多层嵌套的字典压平，可以使用yield关键字来实现。

今天，我们倒过来，把一个已经被压平的字典还原成嵌套字典。

在上一篇文章中，我们提到了aiohttp官方文档中的默认写法速度与requests单线程请求没有什么区别，需要通过使用asyncio.wait来加速aiohttp的请求。今天我们来探讨一下这背后的原因。

听说过异步爬虫的同学，应该或多或少听说过aiohttp这个库。它通过 Python 自带的async/await实现了异步爬虫。

使用 aiohttp，我们可以通过 requests 的api写出并发量匹敌 Scrapy 的爬虫。

关于Kafka的第三篇文章，我们来讲讲如何使用Python读写Kafka。这一篇文章里面，我们要使用的一个第三方库叫做kafka-python。大家可以使用pip或者pipenv安装它。下面两种安装方案，任选其一即可。