Tensorflow实战(二):Discuz验证码识别

  • A+
所属分类:深度学习
摘要

本文将使用深度学习框架Tensorflow训练出一个用于破解Discuz验证码的模型。

Tensorflow实战(二):Discuz验证码识别

一、前言

验证码是根据随机字符生成一幅图片,然后在图片中加入干扰象素,用户必须手动填入,防止有人利用机器人自动批量注册、灌水、发垃圾广告等等 。

验证码的作用是验证用户是真人还是机器人。

本文将使用深度学习框架Tensorflow训练出一个用于破解Discuz验证码的模型。

二、背景介绍

我们先看下简单的Discuz验证码。

Tensorflow实战(二):Discuz验证码识别

打开下面的连接,你就可以看到这个验证码了。

http://cuijiahua.com/tutrial/discuz/index.php?label=jack

怎么获取其他验证码呢?我已经为大家准备好了api,格式如下:

观察上述链接,你会发现label后面跟着的就是要显示的图片字母,改变label后面的值,我们就可以获得不同的Discuz验证码图片。

如果会网络爬虫,我想根据这个api获取Discuz验证码图片对你来说应该很Easy。

不会网络爬虫也没有关系,爬虫代码我已经为你准备好了。创建一个get_discuz.py文件,添加如下代码:

运行上述代码,你就可以下载5000张Discuz验证码图片到本地,但是要注意的一点是:请至少加200ms延时,避免给我的服务器造成过多的压力,如发现影响服务器正常工作,我会关闭此功能。

你好我也好,大家好才是真的好!

验证码下载过程如下图所示:

Tensorflow实战(二):Discuz验证码识别

当然,如果你想省略麻烦的下载步骤也是可以的,我已经为大家准备好了6万张的Discuz验证码图片。我想应该够用了吧,如果感觉不够用,可以自行使用爬虫程序下载更多的验证码。

6万张的Discuz验证码图片可到文章末尾处下载。

准备好的数据集,它们都是100*30大小的图片:

Tensorflow实战(二):Discuz验证码识别

什么?你说这个图片识别太简单?没关系,有高难度的!

点我查看,认出是什么字母算我输!

我打开的图片如下所示:

Tensorflow实战(二):Discuz验证码识别

这是一个动图,并且还带倾斜、扭曲等特效。怎么通过api获得这种图片呢?

没错,只要添加一些参数就可以了,格式如上图所示,每个参数的说明如下:

  • label:验证码
  • width:验证码宽度
  • height:验证码高度
  • background:是否随机图片背景
  • adulterate:是否随机背景图形
  • ttf:是否随机使用ttf字体
  • angle:是否随机倾斜度
  • warping:是否随机扭曲
  • scatter:是否图片打散
  • color:是否随机颜色
  • size:是否随机大小
  • shadow:是否文字阴影
  • animator:是否GIF动画

你可以根据你的喜好,定制你想要的验证码图片。

个人感觉,下面这样的动图还是不错的:

Tensorflow实战(二):Discuz验证码识别

不过,为了简单起见,我们只使用最简单的验证码图片进行验证码识别。

数据集已经准备好,那么接下来进入本文的重点,Tensorflow实战。

三、Discuz验证码识别

我们已经将验证码下载好,并且文件名就是对应图片的标签。这里需要注意的是:我们忽略了图片中英文的大小写。

1、数据预处理

首先,数据预处理分为两个部分,第一部分是读取图片,并划分训练集和测试集。因为整个数据集为6W张图片,所以我们可以让训练集为5W张,测试集为1W张。随后,虽然标签是文件名,我们认识,但是机器是不认识的,因此我们要使用text2vec,将标签进行向量化。

明确了目的,那开始实践吧!

读取数据:

我们通过定义rate,来确定划分比例。例如:测试集1W张,训练集5W张,那么rate=1W/5W=0.2。

标签向量化:

既然需要将标签向量化,那么,我们也需要将向量化的标签还原回来。

运行上述测试代码,你会发现,文本向量化竟如此简单:Tensorflow实战(二):Discuz验证码识别

这里我们包括了63个字符的转化,0-9 a-z A-Z _(验证码如果小于4,用_补齐)。

2、根据batch_size获取数据

我们在训练模型的时候,需要根据不同的batch_size"喂"数据。这就需要我们写个函数,从整体数据集中获取指定batch_size大小的数据。

上述代码无法运行,这是我封装到类里的函数,整体代码会在文末放出。现在理解下这段代码,我们通过train_flag来确定是从训练集获取数据还是测试集获取数据,通过batch_size来获取指定大小的数据。获取数据之后,将batch_size大小的图片数据和经过向量化处理的标签存放到numpy数组中。

3、CNN模型

网络模型如下:

3卷积层+1全链接层。

继续看下我封装到类里的函数:

为了省事,name_scope什么都没有设定。每个网络层的功能,维度都已经在注释里写清楚了,甚至包括tensorflow相应函数的说明也注释好了。

如果对于网络结构计算不太了解,推荐看下LeNet-5网络解析:

http://cuijiahua.com/blog/2018/01/dl_3.html

LeNet-5的网络结构研究清楚了,这里也就懂了。

4、训练函数

准备工作都做好了,我们就可以开始训练了。

上述代码依旧是我封装到类里的函数,与我的上篇文章《Tensorflow实战(一):打响深度学习的第一枪 – 手写数字识别(Tensorboard可视化)》重复的内容不再讲解,包括Tensorboard的使用方法。

这里需要强调的一点是,我们需要在迭代到500次的时候重新获取下数据集,这样做其实就是打乱了一次数据集。为什么要打乱数据集呢?因为如果不打乱数据集,在训练的时候,Tensorboard绘图会有如下现象:

Tensorflow实战(二):Discuz验证码识别

可以看到,准确率曲线和Loss曲线存在跳变,这就是因为我们没有在迭代一定次数之后打乱数据集造成的。

同时,虽然我定义了dropout层,但是在训练的时候没有使用它,所以才把dropout值设置为1。

5、整体训练代码

指定GPU,指定Tensorboard数据存储路径,指定最大迭代次数,跟Tensorflow实战(一)的思想都是一致的。这里,设置最大迭代次数为100W次。

我使用的GPU是Titan X,如果是使用CPU训练估计会好几天吧....

创建train.py文件,添加如下代码:

代码跑了一个多小时终于跑完了,Tensorboard显示的数据:

Tensorflow实战(二):Discuz验证码识别

准确率达到百分之90以上吧。

6、测试代码

已经有训练好的模型了,怎么加载已经训练好的模型进行预测呢?在和train.py相同目录下,创建test.py文件,添加如下代码:

运行程序,随机从测试集挑选5张图片,效果还行,错了一个字母:

Tensorflow实战(二):Discuz验证码识别

四、总结

  • 通过修改网络结构,以及超参数,学习如何调参。
  • 可以试试其他的网络结构,准确率还可以提高很多的。
  • Discuz验证码可以使用更复杂的,这仅仅是个小demo。
  • 如有问题,请留言。如有错误,还望指正,谢谢!

 

PS: 如果觉得本篇本章对您有所帮助,欢迎关注、评论、赞!

本文出现的所有代码和数据集,均可在我的github上下载,欢迎Follow、Star:点击查看

文件下载 Discuz验证码
下载地址
Jack Cui
阿里云ECS

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:35   其中:访客  20   博主  15

    • avatar 差很的真语英我 来自天朝的朋友 火狐浏览器 Ubuntu Linux 贵州省黔南州都匀市 联通 2

      get_next_batch函数中,
      img = np.mean(cv2.imread(self.data_path + test), -1)
      请问这个-1代表什么,有什么意义,为什么要加-1

        • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Windows 10 黑龙江省哈尔滨市 联通

          @差很的真语英我 numpy的mean函数,这里就是变成灰度图,用我那个没使用的函数 对比下就知道了。

            • avatar 差很的真语英我 来自天朝的朋友 火狐浏览器 Ubuntu Linux 贵州省黔南州都匀市 联通 2

              @Jack Cui 谢谢

          • avatar 差很的真语英我 来自天朝的朋友 火狐浏览器 Ubuntu Linux 贵州省黔南州都匀市 联通 2

            请问下 如果我想从中自己选一张图片 让他识别出来 该怎么做

            • avatar 差很的真语英我 来自天朝的朋友 火狐浏览器 Ubuntu Linux 贵州省黔南州都匀市 联通 2

              刚才问的问题我会了,如果能把测试代码 用文字描述下就更好了,感谢博主

              • avatar 小青蛙 来自天朝的朋友 谷歌浏览器 Linux 黑龙江省牡丹江市 电信 1

                你好啊,有一个问题,既然是不分大小写,而且我看生成的label也全是小写的,为啥后面转成vector的时候要加上大写的呢,只用小写把向量维度减小到37个是否能行,另外,如果不考虑’_’这个无法识别的字符的话,把向量化的维度减小到36行不行(0-9和a-z)。

                  • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Windows 10 黑龙江省哈尔滨市 联通

                    @小青蛙 这个向量化是通用的向量化方法,其实可以较少到0-9和a-z不需要大写即可,为了考虑别人可能用大写,就都写好了

                      • avatar 小青蛙 来自天朝的朋友 谷歌浏览器 Linux 黑龙江省牡丹江市穆棱市 电信 1

                        @Jack Cui 好的,另外还有一个问题,你给的连接里面关于LeNet-5的说明中,指定第一个卷积层是5×5的,然后你这里使用的是3×3的,我想问下这是不是一种使用CNN的技巧呢,对于一些已经验证的网络,只要层使用对了就可以,里面的一些细节和超参数都是可以根据实际情况调整的吗,比如这个验证码的例子,是不是只要网络结构是conv-pool-conv-pool-conv-dense-dense就行,具体里面有多少个卷积核,卷积核的大小这一些都不会影响最后的效果?

                          • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Windows 10 黑龙江省哈尔滨市 联通

                            @小青蛙 这个都是有影响的,具体的东西其实有很多,这个都是参数。推荐看下吴恩达的视频进行了解。