Tensorflow实战(二):Discuz验证码识别

  • A+
所属分类:深度学习
摘要

本文将使用深度学习框架Tensorflow训练出一个用于破解Discuz验证码的模型。

Tensorflow实战(二):Discuz验证码识别

一、前言

验证码是根据随机字符生成一幅图片,然后在图片中加入干扰象素,用户必须手动填入,防止有人利用机器人自动批量注册、灌水、发垃圾广告等等 。

验证码的作用是验证用户是真人还是机器人。

本文将使用深度学习框架Tensorflow训练出一个用于破解Discuz验证码的模型。

二、背景介绍

我们先看下简单的Discuz验证码。

Tensorflow实战(二):Discuz验证码识别

打开下面的连接,你就可以看到这个验证码了。

http://cuijiahua.com/tutrial/discuz/index.php?label=jack

怎么获取其他验证码呢?我已经为大家准备好了api,格式如下:

观察上述链接,你会发现label后面跟着的就是要显示的图片字母,改变label后面的值,我们就可以获得不同的Discuz验证码图片。

如果会网络爬虫,我想根据这个api获取Discuz验证码图片对你来说应该很Easy。

不会网络爬虫也没有关系,爬虫代码我已经为你准备好了。创建一个get_discuz.py文件,添加如下代码:

运行上述代码,你就可以下载5000张Discuz验证码图片到本地,但是要注意的一点是:请至少加200ms延时,避免给我的服务器造成过多的压力,如发现影响服务器正常工作,我会关闭此功能。

你好我也好,大家好才是真的好!

验证码下载过程如下图所示:

Tensorflow实战(二):Discuz验证码识别

当然,如果你想省略麻烦的下载步骤也是可以的,我已经为大家准备好了6万张的Discuz验证码图片。我想应该够用了吧,如果感觉不够用,可以自行使用爬虫程序下载更多的验证码。

6万张的Discuz验证码图片可到文章末尾处下载。

准备好的数据集,它们都是100*30大小的图片:

Tensorflow实战(二):Discuz验证码识别

什么?你说这个图片识别太简单?没关系,有高难度的!

点我查看,认出是什么字母算我输!

我打开的图片如下所示:

Tensorflow实战(二):Discuz验证码识别

这是一个动图,并且还带倾斜、扭曲等特效。怎么通过api获得这种图片呢?

没错,只要添加一些参数就可以了,格式如上图所示,每个参数的说明如下:

  • label:验证码
  • width:验证码宽度
  • height:验证码高度
  • background:是否随机图片背景
  • adulterate:是否随机背景图形
  • ttf:是否随机使用ttf字体
  • angle:是否随机倾斜度
  • warping:是否随机扭曲
  • scatter:是否图片打散
  • color:是否随机颜色
  • size:是否随机大小
  • shadow:是否文字阴影
  • animator:是否GIF动画

你可以根据你的喜好,定制你想要的验证码图片。

个人感觉,下面这样的动图还是不错的:

Tensorflow实战(二):Discuz验证码识别

不过,为了简单起见,我们只使用最简单的验证码图片进行验证码识别。

数据集已经准备好,那么接下来进入本文的重点,Tensorflow实战。

三、Discuz验证码识别

我们已经将验证码下载好,并且文件名就是对应图片的标签。这里需要注意的是:我们忽略了图片中英文的大小写。

1、数据预处理

首先,数据预处理分为两个部分,第一部分是读取图片,并划分训练集和测试集。因为整个数据集为6W张图片,所以我们可以让训练集为5W张,测试集为1W张。随后,虽然标签是文件名,我们认识,但是机器是不认识的,因此我们要使用text2vec,将标签进行向量化。

明确了目的,那开始实践吧!

读取数据:

我们通过定义rate,来确定划分比例。例如:测试集1W张,训练集5W张,那么rate=1W/5W=0.2。

标签向量化:

既然需要将标签向量化,那么,我们也需要将向量化的标签还原回来。

运行上述测试代码,你会发现,文本向量化竟如此简单:Tensorflow实战(二):Discuz验证码识别

这里我们包括了63个字符的转化,0-9 a-z A-Z _(验证码如果小于4,用_补齐)。

2、根据batch_size获取数据

我们在训练模型的时候,需要根据不同的batch_size"喂"数据。这就需要我们写个函数,从整体数据集中获取指定batch_size大小的数据。

上述代码无法运行,这是我封装到类里的函数,整体代码会在文末放出。现在理解下这段代码,我们通过train_flag来确定是从训练集获取数据还是测试集获取数据,通过batch_size来获取指定大小的数据。获取数据之后,将batch_size大小的图片数据和经过向量化处理的标签存放到numpy数组中。

3、CNN模型

网络模型如下:

3卷积层+1全链接层。

继续看下我封装到类里的函数:

为了省事,name_scope什么都没有设定。每个网络层的功能,维度都已经在注释里写清楚了,甚至包括tensorflow相应函数的说明也注释好了。

如果对于网络结构计算不太了解,推荐看下LeNet-5网络解析:

http://cuijiahua.com/blog/2018/01/dl_3.html

LeNet-5的网络结构研究清楚了,这里也就懂了。

4、训练函数

准备工作都做好了,我们就可以开始训练了。

上述代码依旧是我封装到类里的函数,与我的上篇文章《Tensorflow实战(一):打响深度学习的第一枪 – 手写数字识别(Tensorboard可视化)》重复的内容不再讲解,包括Tensorboard的使用方法。

这里需要强调的一点是,我们需要在迭代到500次的时候重新获取下数据集,这样做其实就是打乱了一次数据集。为什么要打乱数据集呢?因为如果不打乱数据集,在训练的时候,Tensorboard绘图会有如下现象:

Tensorflow实战(二):Discuz验证码识别

可以看到,准确率曲线和Loss曲线存在跳变,这就是因为我们没有在迭代一定次数之后打乱数据集造成的。

同时,虽然我定义了dropout层,但是在训练的时候没有使用它,所以才把dropout值设置为1。

5、整体训练代码

指定GPU,指定Tensorboard数据存储路径,指定最大迭代次数,跟Tensorflow实战(一)的思想都是一致的。这里,设置最大迭代次数为100W次。

我使用的GPU是Titan X,如果是使用CPU训练估计会好几天吧....

创建train.py文件,添加如下代码:

代码跑了一个多小时终于跑完了,Tensorboard显示的数据:

Tensorflow实战(二):Discuz验证码识别

准确率达到百分之90以上吧。

6、测试代码

已经有训练好的模型了,怎么加载已经训练好的模型进行预测呢?在和train.py相同目录下,创建test.py文件,添加如下代码:

运行程序,随机从测试集挑选5张图片,效果还行,错了一个字母:

Tensorflow实战(二):Discuz验证码识别

四、总结

  • 通过修改网络结构,以及超参数,学习如何调参。
  • 可以试试其他的网络结构,准确率还可以提高很多的。
  • Discuz验证码可以使用更复杂的,这仅仅是个小demo。
  • 如有问题,请留言。如有错误,还望指正,谢谢!

 

PS: 如果觉得本篇本章对您有所帮助,欢迎关注、评论、赞!

本文出现的所有代码和数据集,均可在我的github上下载,欢迎Follow、Star:点击查看

文件下载 Discuz验证码
下载地址
Jack Cui

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:72   其中:访客  42   博主  30

    • avatar 就这样吧 来自天朝的朋友 火狐浏览器 Ubuntu Linux 河南省郑州市 郑州大学(南校区) 0

      楼主你好,我的pycharm在导入cv2时总是报错pip版本号不匹配,这是为什么呢

        • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Windows 10 北京市 电信通

          @就这样吧 因为pycharm没有配置好,pycharm有个管理第三方库的选项,你看一下吧。

        • avatar 散去一身傲娇 来自天朝的朋友 火狐浏览器 Ubuntu Linux 陕西省西安市 移动 0

          楼主,请问这个代码是在哪个系统下基于tensorflow写的呢?哪个版本的环境?如果用CPU运行,是不是只需要删除gpu的那几行代码?

            • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Windows 7 辽宁省沈阳市 东北大学四舍(女生)

              @散去一身傲娇 linux下的,用cpu吗?也可以,不过那估计得训练好几天吧。

            • avatar CUMT 来自天朝的朋友 谷歌浏览器 Windows 10 江苏省徐州市 电信 1

              博主能给一下训练好的模型吗,cpu训练太慢了?蟹蟹了

                • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Windows 7 辽宁省沈阳市 东北大学四舍(女生)

                  @CUMT 呃,抱歉,这个已经是好久之前的了。训练好的模型并没有保留。

                • avatar CUMT 来自天朝的朋友 搜狗浏览器 Windows XP 江苏省徐州市 电信 1

                  感谢博主的文章,学到了很多~请问在图像处理的时候,batch_x[index,:] = img.flatten() / 255,这里 /255是为了二值化吗

                    • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Windows 7 辽宁省沈阳市 东北大学四舍(女生)

                      @CUMT 归一化。

                        • avatar CUMT 来自天朝的朋友 谷歌浏览器 Windows 10 江苏省徐州市 联通 1

                          @Jack Cui 嗯嗯,想错了之前,以为是整型