Python3 网络爬虫（五）：老板，需要特殊服务吗？

2020年5月15日10:00:43 12 6,932 °C
摘要

API 的使用方法

Python3 网络爬虫（五）：老板，需要特殊服务吗？

本文 GitHub https://github.com/Jack-Cherish/PythonPark 已收录，有技术干货文章，整理的学习资料，一线大厂面试经验分享等，欢迎 Star 和 完善。

一、前言

网络爬虫，爬天爬地爬空气。

除了常规的下载文字、图片、音频这些，还能干啥？

还能干的有很多，比如一些「多种多样」的特殊服务。

二、特殊服务

特殊服务，就是那些定制化的 API。

API 的概念也很好理解：

比如你想爬一个网站的数据，你需要分析这个网站，要向哪个 url 发起请求，要向服务器传递哪些数据，拿到服务器的返回数据又要怎么解析出想要的数据。

其实，这个过程，就是在「抽象化」出一个 API。

例如，上篇文章的视频下载实战。

对于写好的「视频下载程序」而言，输入就是视频名，输出就是下载好的视频文件。

你可以把「视频下载程序」叫做一个 API，本质上就是一个完成特定任务的接口。

当然，这些所谓的 API，并非网站管理者提供给你的，而是你自己通过写程序实现的。

这些 API 是需要自己去挖掘，去发现，属于野生的，可以略带调侃地称呼它们为野生 API。

特殊服务，那可就了不得了。

它们不是野生的，而是网站官方提供的官方 API。

这些网站明码标价，提供着各式各样的定制化服务。

Python3 网络爬虫（五）：老板，需要特殊服务吗？

比如，这是「聚合数据」提供的一些查询类 API。

这些常规 API 今天不做讨论，咱们玩一些好玩的。

只会网络爬虫，也能玩转所谓的人工智能算法。

三、AI 开放平台

人工智能开放平台，很多家都有。

比较熟知的，腾讯、百度、京东、Face++ 都提供了 AI 开放平台。

腾讯 AI 开放平台：https://ai.qq.com/

百度 AI 开放平台：https://ai.baidu.com/

京东 AI 开放平台：http://neuhub.jd.com/

旷视 AI 开放平台：https://www.faceplusplus.com.cn/

常见的图像技术、语音技术、文字识别，这些网站都有提供。

单看服务数量，百度提供的接口最丰富。

Python3 网络爬虫（五）：老板，需要特殊服务吗？

单看图像技术，就眼花缭乱，这么多服务。

如果看服务质量，那应该各有千秋。比如旷视，人脸相关的技术，应该是比较好，毕竟早些年支付宝的人脸识别技术，都是旷视提供技术支持的，底子在那呢。

四、API 的使用方法

API 使用方法很简单，只要有爬虫基础，完全可以轻松应对。

咱们以旷视科技的人脸技术为例进行测试。

首先，创建一个账号。

然后，找一个想体验的服务，咱先试试美颜。这年头，没有美颜还真不敢上镜。

旷视科技提供了现成的功能体验。

美颜美型：https://www.faceplusplus.com.cn/face-beautify/

分为美颜和美型，我的理解就是磨皮滤镜加瘦脸，看一下美颜效果。

Python3 网络爬虫（五）：老板，需要特殊服务吗？

左边是美颜前，右边是美颜后，拖拽中间的竖栏，可以调节查看。

下面有很多备选图片，你可以挨个翻牌子，看效果。都不喜欢，也可以点击自定义，上传自己想测试的图片。

这是通过 web 体验服务，如果想嵌入自己的程序里，那就需要学习如何使用这个 API 了。

登录账号，选择控制台，然后创建一个应用，选择「试用」​类型。​

Python3 网络爬虫（五）：老板，需要特殊服务吗？

填写一些信息后，就会生成一个 API Key 和 API Secret，这两个是使用 API 接口要用到的参数。

相当于你的个人账号和密码。

在控制台，有各种服务的使用说明，比如人脸美颜。

Beautify API v2：https://console.faceplusplus.com.cn/documents/134252584

这个文档，有详细的接口描述，根据这些描述，就可以写代码。

Python3 网络爬虫（五）：老板，需要特殊服务吗？

可以看到请求 POST 请求，图片可以是以 URL、二进制文件或 base64 编码上传。

瞧，这就是我之前提到过的，POST 请求的内容，除了是一些文字内容，还可以是一张图片。

根据手册编写代码：

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
import requests
import base64
import json
import cv2
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
 
 
beautify_url = "https://api-cn.faceplusplus.com/facepp/v2/beautify"
# 你创建的应用的 API Key 和 API Secret(也叫 Secret Key)
AK = ''
SK = ''
 
# 可选参数，不填写，默认50
# 美白程度 0 - 100
whitening = 80
# 磨皮程度 0 - 100
smoothing = 80
# 瘦脸程度 0 - 100
thinface = 20
# 小脸程度 0 - 100
shrink_face = 50
# 大眼程度 0 - 100
enlarge_eye = 50
# 去眉毛程度 0 - 100
remove_eyebrow = 50
# 滤镜名称，不填写，默认无滤镜
filter_type = ''
 
# 二进制方式打开图片
img_name = 'test_1.png'
f = open(img_name, 'rb')
# 转 base64
img_base64 = base64.b64encode(f.read())
 
# 使用 whitening、smoothing、thinface 三个可选参数，其他用默认值
data = {
    'api_key': AK,
    'api_secret': SK,
    'image_base64': img_base64,
    'whitening': whitening,
    'smoothing': smoothing,
    'thinface': thinface,
    }
 
r = requests.post(url=beautify_url, data=data)
html = json.loads(r.text)
 
# 解析base64图片
base64_data = html['result']
imgData = base64.b64decode(base64_data)
nparr = np.frombuffer(imgData, np.uint8)
img_res = cv2.imdecode(nparr, cv2.IMREAD_COLOR)
img_res_BGR = cv2.cvtColor(img_res, cv2.COLOR_RGB2BGR)
 
# 原始图片
img = cv2.imread(img_name)
img_BGR = cv2.cvtColor(img, cv2.COLOR_RGB2BGR)
 
# 显示图片
fig, axs = plt.subplots(nrows=1, ncols=2, sharex=False, sharey=False, figsize=(10,10))
axs[0].imshow(img_BGR)
axs[1].imshow(img_res_BGR)
plt.show()

你需要填写自己的 AK 和 SK，并下载一张图片。

图片地址：https://cuijiahua.com/wp-content/uploads/2020/05/test_1.png

API 接口返回的数据是 base64 的二进制文件，需要解码，运行结果：

Python3 网络爬虫（五）：老板，需要特殊服务吗？

效果还不错吧！

除了美颜，还有很多服务，人脸检测、人脸识别、人脸关键点等等。

Python3 网络爬虫（五）：老板，需要特殊服务吗？

人脸关键点就是在脸上画一堆点，这有什么用？

一个比较成熟的例子就是虚拟主播。

Python3 网络爬虫（五）：老板，需要特殊服务吗？

看着还不错吧？

AI 开放平台提供了丰富的 AI 领域的基础能力，怎么用，用来干什么，就看自己的想象力了。​

当然，这些免费试用的 API 接口有很多限制，比如不能请求太快等等。

想要 API 提供性能更好，QPS 更大的优质服务，那就得充钱了。

老板，加个钟！

五、最后

这种 API 接口也可以用来清晰数据，训练自己的网络模型，花点小钱，清晰一批数据，真香！

PS：文中出现的所有代码，均可在我的 Github 上下载：点击查看

Python3 网络爬虫（五）：老板，需要特殊服务吗？

weinxin
微信公众号
分享技术，乐享生活：微信公众号搜索「JackCui-AI」关注一个在互联网摸爬滚打的潜行者。
Jack Cui

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论：12   其中：访客  8   博主  4

    • avatar 擦擦擦 来自天朝的朋友 火狐浏览器 Windows 10 河南省郑州市 联通 1
      回复 2020年6月3日 下午5:44  沙发

      大佬，文本、图片、音频都讲完了，后面准备讲啥？

        • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Mac OS X 10_14_4 北京市 百度网讯科技联通节点
          回复 2020年6月4日 上午10:25  1层

          @擦擦擦 模拟登录、验证码啥的，挺多的，慢慢写了。

            • avatar 擦擦擦 来自天朝的朋友 火狐浏览器 Windows 10 河南省郑州市 联通 1
              回复 2020年6月4日 上午10:49  2层

              @Jack Cui 期待，翘首以盼，嗷嗷待哺，急不可耐

          • avatar BU.ZAI 来自天朝的朋友 谷歌浏览器 Windows 7 广东省广州市 电信 1
            回复 2020年6月5日 上午9:50  板凳

            期待更新

            • avatar 99ing 来自天朝的朋友 谷歌浏览器 Windows 10 江西省 联通 2
              回复 2020年6月28日 下午8:42  地板

              请问博主为啥得到的回应是MISSING_ARGUMENTS，其他都是复制你的？

                • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Mac OS X 10_14_4 北京市 百度网讯科技联通节点
                  回复 2020年6月29日 下午2:39  1层

                  @99ing 你的key确定没有问题吗？

                • avatar zuje 来自天朝的朋友 谷歌浏览器 Windows 10 江西省吉安市 移动 0
                  回复 2020年7月3日 下午10:54  4楼

                  我本地测试，不知道什么原因，只有在 line48 后面 加上print(html) ，才能返回正常结果，不然就报错：KeyError: ‘result’。
                  博主知道原因吗

                    • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Mac OS X 10_14_4 北京市 百度网讯科技联通节点
                      回复 2020年7月6日 上午11:08  1层

                      @zuje 返回结果的结构变了，自己解析下。

                    • avatar OMG 来自天朝的朋友 谷歌浏览器 Windows 10 陕西省西安市 电信 1
                      回复 2020年7月22日 下午11:17  5楼

                      之前的我：大佬，并发数超过限制该怎么办？
                      后来的我：多运行几次就好了 :roll: 可惜没办法撤回

                        • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Windows 10 北京市 中国电信北京研究院
                          回复 2020年7月23日 下午10:48  1层

                          @OMG 哈哈~

                        • avatar leyuxuan 来自天朝的朋友 谷歌浏览器 Windows 10 广东省深圳市 电信 2
                          回复 2020年9月11日 下午5:52  6楼

                          https://jingyan.baidu.com/article/1e5468f9e28ed0084861b723.html
                          期待

                          • avatar 目 来自天朝的朋友 谷歌浏览器 Windows 10 河北省保定市 联通 0
                            回复 2021年4月24日 下午9:18  7楼

                            调用requests.post()方法时一直报ValueError: check_hostname requires server_hostname错误，请问这是为什么呀？代码检查都对。。网上有人说是requests库的最新的版本问题，降低版本也不行。。