Tensorflow实战(二):Discuz验证码识别

2018年1月29日09:04:20 221 22,542 °C
摘要

本文将使用深度学习框架Tensorflow训练出一个用于破解Discuz验证码的模型。

Tensorflow实战(二):Discuz验证码识别

一、前言

验证码是根据随机字符生成一幅图片,然后在图片中加入干扰象素,用户必须手动填入,防止有人利用机器人自动批量注册、灌水、发垃圾广告等等 。

验证码的作用是验证用户是真人还是机器人。

本文将使用深度学习框架Tensorflow训练出一个用于破解Discuz验证码的模型。

自动生成验证码接口关闭,原因如下:

Tensorflow实战(二):Discuz验证码识别

接口是用来方便大家获取验证码图片的,已经声明至少加200ms延时,但是有些人就是不管不顾,个人网站带宽不大,直接被占满(自己写代码让别人爬自己网站真是找罪受),服务器被蹂躏十多分钟。这种情况已经出现很多次了,实在受不了,只能关闭此功能,望谅解了。

想要Discuz验证码生成代码(php)的,到网盘下载吧(密码:nf1t):

二、背景介绍

我们先看下简单的Discuz验证码。

Tensorflow实战(二):Discuz验证码识别

打开下面的连接,你就可以看到这个验证码了。

https://cuijiahua.com/tutrial/discuz/index.php?label=jack

怎么获取其他验证码呢?我已经为大家准备好了api,格式如下:

观察上述链接,你会发现label后面跟着的就是要显示的图片字母,改变label后面的值,我们就可以获得不同的Discuz验证码图片。

如果会网络爬虫,我想根据这个api获取Discuz验证码图片对你来说应该很Easy。

不会网络爬虫也没有关系,爬虫代码我已经为你准备好了。创建一个get_discuz.py文件,添加如下代码:

运行上述代码,你就可以下载5000张Discuz验证码图片到本地,但是要注意的一点是:请至少加200ms延时,避免给我的服务器造成过多的压力,如发现影响服务器正常工作,我会关闭此功能。

你好我也好,大家好才是真的好!

验证码下载过程如下图所示:

Tensorflow实战(二):Discuz验证码识别

当然,如果你想省略麻烦的下载步骤也是可以的,我已经为大家准备好了6万张的Discuz验证码图片。我想应该够用了吧,如果感觉不够用,可以自行使用爬虫程序下载更多的验证码。

6万张的Discuz验证码图片可到文章末尾处下载。

准备好的数据集,它们都是100*30大小的图片:

Tensorflow实战(二):Discuz验证码识别

什么?你说这个图片识别太简单?没关系,有高难度的!

点我查看,认出是什么字母算我输!

我打开的图片如下所示:

Tensorflow实战(二):Discuz验证码识别

这是一个动图,并且还带倾斜、扭曲等特效。怎么通过api获得这种图片呢?

没错,只要添加一些参数就可以了,格式如上图所示,每个参数的说明如下:

  • label:验证码
  • width:验证码宽度
  • height:验证码高度
  • background:是否随机图片背景
  • adulterate:是否随机背景图形
  • ttf:是否随机使用ttf字体
  • angle:是否随机倾斜度
  • warping:是否随机扭曲
  • scatter:是否图片打散
  • color:是否随机颜色
  • size:是否随机大小
  • shadow:是否文字阴影
  • animator:是否GIF动画

你可以根据你的喜好,定制你想要的验证码图片。

个人感觉,下面这样的动图还是不错的:

Tensorflow实战(二):Discuz验证码识别

不过,为了简单起见,我们只使用最简单的验证码图片进行验证码识别。

数据集已经准备好,那么接下来进入本文的重点,Tensorflow实战。

三、Discuz验证码识别

我们已经将验证码下载好,并且文件名就是对应图片的标签。这里需要注意的是:我们忽略了图片中英文的大小写。

1、数据预处理

首先,数据预处理分为两个部分,第一部分是读取图片,并划分训练集和测试集。因为整个数据集为6W张图片,所以我们可以让训练集为5W张,测试集为1W张。随后,虽然标签是文件名,我们认识,但是机器是不认识的,因此我们要使用text2vec,将标签进行向量化。

明确了目的,那开始实践吧!

读取数据:

我们通过定义rate,来确定划分比例。例如:测试集1W张,训练集5W张,那么rate=1W/5W=0.2。

标签向量化:

既然需要将标签向量化,那么,我们也需要将向量化的标签还原回来。

运行上述测试代码,你会发现,文本向量化竟如此简单:Tensorflow实战(二):Discuz验证码识别

这里我们包括了63个字符的转化,0-9 a-z A-Z _(验证码如果小于4,用_补齐)。

2、根据batch_size获取数据

我们在训练模型的时候,需要根据不同的batch_size"喂"数据。这就需要我们写个函数,从整体数据集中获取指定batch_size大小的数据。

上述代码无法运行,这是我封装到类里的函数,整体代码会在文末放出。现在理解下这段代码,我们通过train_flag来确定是从训练集获取数据还是测试集获取数据,通过batch_size来获取指定大小的数据。获取数据之后,将batch_size大小的图片数据和经过向量化处理的标签存放到numpy数组中。

3、CNN模型

网络模型如下:

3卷积层+1全链接层。

继续看下我封装到类里的函数:

为了省事,name_scope什么都没有设定。每个网络层的功能,维度都已经在注释里写清楚了,甚至包括tensorflow相应函数的说明也注释好了。

如果对于网络结构计算不太了解,推荐看下LeNet-5网络解析:

https://cuijiahua.com/blog/2018/01/dl_3.html

LeNet-5的网络结构研究清楚了,这里也就懂了。

4、训练函数

准备工作都做好了,我们就可以开始训练了。

上述代码依旧是我封装到类里的函数,与我的上篇文章《Tensorflow实战(一):打响深度学习的第一枪 – 手写数字识别(Tensorboard可视化)》重复的内容不再讲解,包括Tensorboard的使用方法。

这里需要强调的一点是,我们需要在迭代到500次的时候重新获取下数据集,这样做其实就是打乱了一次数据集。为什么要打乱数据集呢?因为如果不打乱数据集,在训练的时候,Tensorboard绘图会有如下现象:

Tensorflow实战(二):Discuz验证码识别

可以看到,准确率曲线和Loss曲线存在跳变,这就是因为我们没有在迭代一定次数之后打乱数据集造成的。

同时,虽然我定义了dropout层,但是在训练的时候没有使用它,所以才把dropout值设置为1。

5、整体训练代码

指定GPU,指定Tensorboard数据存储路径,指定最大迭代次数,跟Tensorflow实战(一)的思想都是一致的。这里,设置最大迭代次数为100W次。

我使用的GPU是Titan X,如果是使用CPU训练估计会好几天吧....

创建train.py文件,添加如下代码:

代码跑了一个多小时终于跑完了,Tensorboard显示的数据:

Tensorflow实战(二):Discuz验证码识别

准确率达到百分之90以上吧。

6、测试代码

已经有训练好的模型了,怎么加载已经训练好的模型进行预测呢?在和train.py相同目录下,创建test.py文件,添加如下代码:

运行程序,随机从测试集挑选5张图片,效果还行,错了一个字母:

Tensorflow实战(二):Discuz验证码识别

四、总结

  • 通过修改网络结构,以及超参数,学习如何调参。
  • 可以试试其他的网络结构,准确率还可以提高很多的。
  • Discuz验证码可以使用更复杂的,这仅仅是个小demo。
  • 如有问题,请留言。如有错误,还望指正,谢谢!

 

PS: 如果觉得本篇本章对您有所帮助,欢迎关注、评论、赞!

本文出现的所有代码和数据集,均可在我的github上下载,欢迎Follow、Star:点击查看

文件下载 Discuz验证码
下载地址
weinxin
微信公众号
分享技术,乐享生活:微信公众号搜索「JackCui-AI」关注一个在互联网摸爬滚打的潜行者。
质胜文则野,文胜质则史,文质彬彬,然后君子。--- 孔子
Jack Cui

发表评论取消回复

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:221   其中:访客  127   博主  94

    • avatar 蔓越莓曲奇 来自天朝的朋友 谷歌浏览器 Windows 10 浙江省杭州市 移动 1

      你好博主
      ZeroDivisionError: integer division or modulo by zero
      这个问题在哪

        • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Mac OS X 10_14_4 北京市 百度网讯科技联通节点

          @蔓越莓曲奇 这个应该是除数为零了,检查下报错位置的除数是否正确。

        • avatar lemon 来自天朝的朋友 QQ浏览器  Android 9 HLK-AL00 Build/HONORHLK-AL0001 北京市 中国教育和科研计算机网骨干网 0

          博主,那个怎么填模型保存的地址啊,是320行吗?还有如果果换其他像素的图片,怎么修改参数呢

            • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Mac OS X 10_14_4 北京市 百度网讯科技联通节点

              @lemon 320行是保存日志,用于tensorboard的,saver.save是保存模型。
              其它像素点的图片,需要修改输入shape,其它应该不会变化。

            • avatar Déjà Vu 来自天朝的朋友 谷歌浏览器 Windows 10 湖北省武汉市 中南民族大学 2

              请问我如果换40×120的图片应该怎么修改网络呢?

                • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Windows 10 北京市 联通

                  @Déjà Vu 在__init__函数里设置应该就行。

                    • avatar 112 来自天朝的朋友 QQ浏览器  SM-G9550 Build/NRD90M 湖北省武汉市 移动 2

                      @Jack Cui 我把自己的resize成30×100了,我只有5000张带标签的数据集,迭代了9000多次acc就0.99了,然后用这个模型预测另外5000张没标签的图片准确率很低,请问有什么好办法吗?我是初学者

                      • avatar 112 来自天朝的朋友 QQ浏览器  SM-G9550 Build/NRD90M 湖北省武汉市 移动 2

                        @Jack Cui 楼主,用这个模型预测验证集效果挺好的,但当用这个模型预测测试集的时候效果很差,可能是过拟合了,有什么解决办法吗

                          • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Windows 10 北京市 联通

                            @112 换个网络试试吧,这个是最基础的网络,换下mobilenet这类的网络提取特征,效果应该会好很多。过拟合了可以在损失函数加入惩罚项。

                              • avatar 112 来自天朝的朋友 QQ浏览器  SM-G9550 Build/NRD90M 湖北省宜昌市 移动 2

                                @Jack Cui 楼主,我觉得应该不需要换网络了,因为我只有5000张训练集,但是训练出的模型预测测试集5000张只对了十几张,而且我也用了dropout了,方便留个联系方式吗?我想多请教你一下

                                • avatar 112 来自天朝的朋友 QQ浏览器  SM-G9550 Build/NRD90M 湖北省宜昌市 移动 2

                                  @Jack Cui 还有一个问题就是为什么预测的结果是随机的呢,我是从1-5000.jpg的名字,结果打印vec2text(label)顺序就全乱了 就是3666 147 569 那种乱序,这是怎么回事

                                • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Mac OS X 10_14_4 北京市 百度网讯科技联通节点

                                  @112 因为有个shuffle操作,打乱了顺序。模型训练还不够,多迭代迭代,看下loss曲线,还能继续下降就继续训练着。侧边栏有我的联系方式。

                            • avatar 锟斤拷锟斤拷 来自天朝的朋友 谷歌浏览器 Windows 10 中国 移动 0

                              图片位深度是24,为什么通道数是1?

                                • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Mac OS X 10_14_4 黑龙江省哈尔滨市 联通

                                  @锟斤拷锟斤拷 没看到你说的地方啊,哪块的代码呢?

                                • avatar 松松松松松 来自天朝的朋友 谷歌浏览器 Windows 10 中国 移动 1

                                  请问现在验证码图片是要自己生成吗,是要运行Discuz下的哪个文件呢

                                    • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Windows 10 北京市 中国电信北京研究院

                                      @松松松松松 自己生成的,生成的代码,我也分享了,文章中有链接。

                                        • avatar 松松松松松 来自天朝的朋友 谷歌浏览器 Windows 10 中国 移动 1

                                          @Jack Cui 你好博主,我之前没用过php,我下了wampserver,然后运行了你给的discuz下的index.php文件,只生成了一张jack。。。难道不是运行这个文件吗?

                                            • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Mac OS X 10_14_4 北京市 百度网讯科技联通节点

                                              @松松松松松 修改参数,拼接url,就你生成不同的图片了。

                                                • avatar 松松松松松 来自天朝的朋友 谷歌浏览器 Windows 10 浙江省台州市 移动 1

                                                  @Jack Cui 你好博主,我改了参数,可以生成别的图片了。但是我难道要一张一张生成吗。。

                                                  • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Windows 10 北京市 中国电信北京研究院

                                                    @松松松松松 嗯,用爬虫生成下载呗。

                                            • avatar partnick 来自天朝的朋友 QQ浏览器 Windows 10 中国 移动 1

                                              怎么直接用模型识别单独指定的验证码啊?

                                                • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Windows 10 北京市 中国电信北京研究院

                                                  @partnick 单独指定是什么意思?我这个必须是4个字符的。

                                                    • avatar partnick 来自天朝的朋友 QQ浏览器 Windows 10 中国 移动 1

                                                      @Jack Cui 我的意思是除了验证模型意外,识别指定的一张验证码,虽然生成了模型但是不会用。

                                                  • avatar xx 来自天朝的朋友 谷歌浏览器 Mac OS X 10_14_6 安徽省阜阳市 电信 0

                                                    楼主您好,请问您当时运行的checkpoint还有吗,我的电脑运行太慢了。非常感谢

                                                      • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器  Android 10 Redmi K20 Pro Build/QKQ1.190825.002 北京市丰台区 联通

                                                        @xx 没了~

                                                      • avatar haonit 来自天朝的朋友 谷歌浏览器 Windows 10 山东省青岛市 移动 0

                                                        没仔细看:)

                                                        • avatar 雅利安 来自天朝的朋友 谷歌浏览器 Windows 10 四川省成都市 电信 2

                                                          博主,你用的是什么型号的GPU呀,我用pytorch复写了你的代码但是acc一直升不上去,看你一个小时就跑完了9万多epoch,为啥我一个小时只能运行几千个呀,我的batch_size也是100呀

                                                            • avatar Jack Cui Admin Canada 谷歌浏览器 Windows 10 加拿大

                                                              @雅利安 我是rtx 2060s,就是因为迭代次数不够~

                                                                • avatar 雅利安 来自天朝的朋友 谷歌浏览器 Windows 10 四川省成都市 电信 2

                                                                  @Jack Cui 如果我想把batch_size调高一点,学习率要做改动吗?

                                                                    • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器  Android 10 Redmi K20 Pro Build/QKQ1.190825.002 北京市 中国电信北京研究院

                                                                      @雅利安 不用的

                                                                • avatar 想要高代码能力的阿早早 来自天朝的朋友 谷歌浏览器 Windows 10 陕西省汉中市 移动 1

                                                                  博主您好,在运行train.py时遇到AttributeError: ‘Discuz’ object has no attribute ‘config’问题怎么解决呢?在网上没有搜到解决这个问题的方法。