Tensorflow实战(二):Discuz验证码识别

2018年1月29日09:04:20 221 21,699 °C
摘要

本文将使用深度学习框架Tensorflow训练出一个用于破解Discuz验证码的模型。

Tensorflow实战(二):Discuz验证码识别

一、前言

验证码是根据随机字符生成一幅图片,然后在图片中加入干扰象素,用户必须手动填入,防止有人利用机器人自动批量注册、灌水、发垃圾广告等等 。

验证码的作用是验证用户是真人还是机器人。

本文将使用深度学习框架Tensorflow训练出一个用于破解Discuz验证码的模型。

自动生成验证码接口关闭,原因如下:

Tensorflow实战(二):Discuz验证码识别

接口是用来方便大家获取验证码图片的,已经声明至少加200ms延时,但是有些人就是不管不顾,个人网站带宽不大,直接被占满(自己写代码让别人爬自己网站真是找罪受),服务器被蹂躏十多分钟。这种情况已经出现很多次了,实在受不了,只能关闭此功能,望谅解了。

想要Discuz验证码生成代码(php)的,到网盘下载吧(密码:nf1t):

二、背景介绍

我们先看下简单的Discuz验证码。

Tensorflow实战(二):Discuz验证码识别

打开下面的连接,你就可以看到这个验证码了。

https://cuijiahua.com/tutrial/discuz/index.php?label=jack

怎么获取其他验证码呢?我已经为大家准备好了api,格式如下:

观察上述链接,你会发现label后面跟着的就是要显示的图片字母,改变label后面的值,我们就可以获得不同的Discuz验证码图片。

如果会网络爬虫,我想根据这个api获取Discuz验证码图片对你来说应该很Easy。

不会网络爬虫也没有关系,爬虫代码我已经为你准备好了。创建一个get_discuz.py文件,添加如下代码:

运行上述代码,你就可以下载5000张Discuz验证码图片到本地,但是要注意的一点是:请至少加200ms延时,避免给我的服务器造成过多的压力,如发现影响服务器正常工作,我会关闭此功能。

你好我也好,大家好才是真的好!

验证码下载过程如下图所示:

Tensorflow实战(二):Discuz验证码识别

当然,如果你想省略麻烦的下载步骤也是可以的,我已经为大家准备好了6万张的Discuz验证码图片。我想应该够用了吧,如果感觉不够用,可以自行使用爬虫程序下载更多的验证码。

6万张的Discuz验证码图片可到文章末尾处下载。

准备好的数据集,它们都是100*30大小的图片:

Tensorflow实战(二):Discuz验证码识别

什么?你说这个图片识别太简单?没关系,有高难度的!

点我查看,认出是什么字母算我输!

我打开的图片如下所示:

Tensorflow实战(二):Discuz验证码识别

这是一个动图,并且还带倾斜、扭曲等特效。怎么通过api获得这种图片呢?

没错,只要添加一些参数就可以了,格式如上图所示,每个参数的说明如下:

  • label:验证码
  • width:验证码宽度
  • height:验证码高度
  • background:是否随机图片背景
  • adulterate:是否随机背景图形
  • ttf:是否随机使用ttf字体
  • angle:是否随机倾斜度
  • warping:是否随机扭曲
  • scatter:是否图片打散
  • color:是否随机颜色
  • size:是否随机大小
  • shadow:是否文字阴影
  • animator:是否GIF动画

你可以根据你的喜好,定制你想要的验证码图片。

个人感觉,下面这样的动图还是不错的:

Tensorflow实战(二):Discuz验证码识别

不过,为了简单起见,我们只使用最简单的验证码图片进行验证码识别。

数据集已经准备好,那么接下来进入本文的重点,Tensorflow实战。

三、Discuz验证码识别

我们已经将验证码下载好,并且文件名就是对应图片的标签。这里需要注意的是:我们忽略了图片中英文的大小写。

1、数据预处理

首先,数据预处理分为两个部分,第一部分是读取图片,并划分训练集和测试集。因为整个数据集为6W张图片,所以我们可以让训练集为5W张,测试集为1W张。随后,虽然标签是文件名,我们认识,但是机器是不认识的,因此我们要使用text2vec,将标签进行向量化。

明确了目的,那开始实践吧!

读取数据:

我们通过定义rate,来确定划分比例。例如:测试集1W张,训练集5W张,那么rate=1W/5W=0.2。

标签向量化:

既然需要将标签向量化,那么,我们也需要将向量化的标签还原回来。

运行上述测试代码,你会发现,文本向量化竟如此简单:Tensorflow实战(二):Discuz验证码识别

这里我们包括了63个字符的转化,0-9 a-z A-Z _(验证码如果小于4,用_补齐)。

2、根据batch_size获取数据

我们在训练模型的时候,需要根据不同的batch_size"喂"数据。这就需要我们写个函数,从整体数据集中获取指定batch_size大小的数据。

上述代码无法运行,这是我封装到类里的函数,整体代码会在文末放出。现在理解下这段代码,我们通过train_flag来确定是从训练集获取数据还是测试集获取数据,通过batch_size来获取指定大小的数据。获取数据之后,将batch_size大小的图片数据和经过向量化处理的标签存放到numpy数组中。

3、CNN模型

网络模型如下:

3卷积层+1全链接层。

继续看下我封装到类里的函数:

为了省事,name_scope什么都没有设定。每个网络层的功能,维度都已经在注释里写清楚了,甚至包括tensorflow相应函数的说明也注释好了。

如果对于网络结构计算不太了解,推荐看下LeNet-5网络解析:

https://cuijiahua.com/blog/2018/01/dl_3.html

LeNet-5的网络结构研究清楚了,这里也就懂了。

4、训练函数

准备工作都做好了,我们就可以开始训练了。

上述代码依旧是我封装到类里的函数,与我的上篇文章《Tensorflow实战(一):打响深度学习的第一枪 – 手写数字识别(Tensorboard可视化)》重复的内容不再讲解,包括Tensorboard的使用方法。

这里需要强调的一点是,我们需要在迭代到500次的时候重新获取下数据集,这样做其实就是打乱了一次数据集。为什么要打乱数据集呢?因为如果不打乱数据集,在训练的时候,Tensorboard绘图会有如下现象:

Tensorflow实战(二):Discuz验证码识别

可以看到,准确率曲线和Loss曲线存在跳变,这就是因为我们没有在迭代一定次数之后打乱数据集造成的。

同时,虽然我定义了dropout层,但是在训练的时候没有使用它,所以才把dropout值设置为1。

5、整体训练代码

指定GPU,指定Tensorboard数据存储路径,指定最大迭代次数,跟Tensorflow实战(一)的思想都是一致的。这里,设置最大迭代次数为100W次。

我使用的GPU是Titan X,如果是使用CPU训练估计会好几天吧....

创建train.py文件,添加如下代码:

代码跑了一个多小时终于跑完了,Tensorboard显示的数据:

Tensorflow实战(二):Discuz验证码识别

准确率达到百分之90以上吧。

6、测试代码

已经有训练好的模型了,怎么加载已经训练好的模型进行预测呢?在和train.py相同目录下,创建test.py文件,添加如下代码:

运行程序,随机从测试集挑选5张图片,效果还行,错了一个字母:

Tensorflow实战(二):Discuz验证码识别

四、总结

  • 通过修改网络结构,以及超参数,学习如何调参。
  • 可以试试其他的网络结构,准确率还可以提高很多的。
  • Discuz验证码可以使用更复杂的,这仅仅是个小demo。
  • 如有问题,请留言。如有错误,还望指正,谢谢!

 

PS: 如果觉得本篇本章对您有所帮助,欢迎关注、评论、赞!

本文出现的所有代码和数据集,均可在我的github上下载,欢迎Follow、Star:点击查看

文件下载 Discuz验证码
下载地址
weinxin
微信公众号
分享技术,乐享生活:微信公众号搜索「JackCui-AI」关注一个在互联网摸爬滚打的潜行者。
Jack Cui

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:221   其中:访客  127   博主  94

    • avatar bunny 来自天朝的朋友 谷歌浏览器 Windows 10 云南省昆明市 电信 0

      终于理解了如何从图片到字符串的直接识别,学了tensorflow上mnist之后都是拆分了一个一个字符的识别,谢谢

      • avatar bbyte 来自天朝的朋友 Safari浏览器 Mac OS X Lion 10_15_7 安徽省合肥市 电信 1

        如果使用 M1 MacBook 来训练的话,如何修改相关代码呢?

          • avatar Jack Cui Admin Canada 谷歌浏览器 Windows 10 加拿大

            @bbyte 都是一样的,改为cpu就行。

          • avatar |锟截o拷) 来自天朝的朋友 火狐浏览器 Windows 10 广西南宁市 移动 1

            merged = tf.compat.v1.summary.merge_all()现在在tersoeflow2.0这个版本下那行命令会出现merged为none的BUG 导致后面的sess.run无法运行,请问楼主可以解决一下这个问题吗 换一个可以兼容tf2.0的函数

              • avatar |锟截o拷) 来自天朝的朋友 火狐浏览器 Windows 10 广西南宁市 移动 1

                @|锟截o拷) 我找到类似于这种
                weights_summary = tf.histogram_summary(“weights”, W)
                biases_summary = tf.histogram_summary(“biases”, b)
                y_summary = tf.histogram_summary(“y”, y)

                merged = tf.merge_summary([weights_summary, biases_summary, y_summary])
                的方法 但是上面这些函数依旧不能再tf2.0上面使用

                我几乎把整个train的tf函数都改了一遍 为了适配tf2.0希望这是最后一个坎 :-)

                  • avatar asdf 这家伙可能用了美佬的代理 谷歌浏览器 Windows 10 美国 华盛顿州西雅图市亚马逊公司数据中心 0

                    @|锟截o拷) 佬你跑通了吗,能不能救救后来者,我改的相似

                • avatar 暖暖 QQ浏览器 Windows 10 亚太地区 0

                  怎么识别指定图片阿?

                  • avatar zhaohaiyan 来自天朝的朋友 谷歌浏览器  PGBM10 Build/TP1A.220905.001 P1 13 四川省遂宁市 /广安市电信 0

                    你好,博主,请问你是用训练过的数据来进行测试的吗,训练集和测试集是一样的吗

                    • avatar xueli12 来自天朝的朋友 谷歌浏览器 Windows 10 广东省广州市 移动 1

                      大佬好,下面这种验证码图片应该怎么生成呢?在背景图上还有一串白色的英文
                      不懂php,如果需要修改代码,应该如何修改呀?
                      https://img.xwyue.com/i/2024/02/25/65db0e5fc5576.png

                      • avatar xueli12 来自天朝的朋友 谷歌浏览器 Windows 10 广东省广州市 移动 1

                        补充图片https://img.xwyue.com/i/2024/02/25/65db0e5fc5576.png