程序员欢乐送(第49期)

2020年1月17日09:00:28 10 397 °C
摘要

程序员欢乐送:AutoGluon、Motrix、Tokenizers、python-pinyin、DeeperForensics-1.0、ffmpeg-python、transferlearning

程序员欢乐送(第49期)

一直保持的追求有三点:技术、快乐、财富,这里记录每周值得分享的内容,周五把欢乐送达。

技术

下周就过年了,提前祝大家春节快乐万事如意!

临近过年,大佬们的开源项目也少了很多,本周推送一些实时热点项目和"老的"霸榜项目。

1、AutoGluon

近日,亚马逊正式推出了开源代码库 AutoGluon。开发者依靠仅仅几行代码,就可以编写出 AI 嵌入应用程序。

简单来讲,AutoML 使用大概 15 倍于单次训练的代价,得到的结果可能比手调的要好,它可以自己调参,目前只支持 GluonCV 和 GluonNLP 里面的任务,和额外的 Tabular 数据。

AutoGluon 支持易使用和易扩展的 AutoML,并专注于涵盖图像、文本或表格数据的深度学习和实际应用。AutoGluon 适用于机器学习初学者和专家,能够使他们:

  • 通过几行代码即可快速地为数据构建深度学习原型方案;
  • 利用自动超参数微调、模型选择/架构搜索和数据处理;
  • 无需专家知识即可自动使用深度学习 SOTA 方法;
  • 轻松地提升现有定制模型和数据管道,或者根据用例自定义 AutoGluon。

现在 AutoGluon 已经支持了以下一些应用:

  • 表格预测:基于数据表中一些列的值预测其他列的值;
  • 图像分类:识别图像中的主要对象;
  • 对象检测:借助图像中的边界框检测多个对象;
  • 文本分类:基于文本内容做出预测。

程序员欢乐送(第49期)

项目地址:点击查看

2、Motrix

Motrix 是一款全能的下载工具,支持下载 HTTP、FTP、BT、磁力链、百度网盘等资源。

Motrix 支持 Windows、macOS和Linux,同时 Motrix 具有以下特性:

  • 简洁明了的图形操作界面
  • 支持BT和磁力链任务
  • 支持选择性下载BT部分文件
  • 支持下载百度云盘资源
  • 最高支持 10 个任务同时下载
  • 单任务最高支持 64 线程下载
  • 设置上传/下载限速
  • 模拟用户代理UA
  • 支持多种语言

程序员欢乐送(第49期)

很好用的工具,感兴趣的可以试一试。

项目地址:点击查看

3、Tokenizers

Tokenizers 是Hugging Face(抱抱脸)团队最新开源的切词工具,处理 1GB 的文本只需要 20 秒,主要特点如下:

  • 使用当今最常用的分词器训练新词汇并标记化。
  • 支持Python、Rust、Node.js
  • 得益于Rust的实现,速度非常快(训练和令牌化)。只需不到20秒即可在服务器CPU上标记GB的文本。
  • 易于使用,也非常灵活。
  • 归一化带有对齐跟踪。总是有可能获得与给定标记相对应的原始句子部分。
  • 执行所有预处理:截断,填充,添加模型所需的特殊标记。

程序员欢乐送(第49期)

做 NLP 相关,有切词需求的朋友,可以试试。

项目地址:点击查看

4、python-pinyin

python-pinyin 是一个汉字拼音转换工具,可以用于汉字注音、排序、检索等,同时也支持一些表情、特殊符号的处理。

主要特点:

  • 根据词组智能匹配最正确的拼音。
  • 支持多音字。
  • 简单的繁体支持, 注音支持。
  • 支持多种不同拼音/注音风格。

有了这款工具,其实能做一些有意思、有用的小东西,比如,经常在Linux开发的人都知道,由于中文编码问题,可能本地Windows或Mac上的以中文命名的文件夹或者文件,上传到Linux服务器上,中文就乱码了。

面对这种问题,其中一种解决方案就是,将所有命名改掉,而为了保持文件夹或文件"原汁原味",就可以使用python-pinyin这款工具,将所有文件批处理成以拼音命名。

应用当然不仅如此,还有很多场景。有了需求后,你就会发现,多知道一款小工具是多么有用。

快速开发,纵享丝滑。

程序员欢乐送(第49期)

项目地址:点击查看

5、DeeperForensics-1.0

DeeperForensics-1.0 是商汤科技研究院与新加坡南洋理工大学合作设计的迄今为止最大的人脸伪造检测数据集。

研究人员表示,这是一种新的大规模的人脸伪造检测数据集,被称为是同类中最大的语料库,有超过6万个视频,大约有1760万帧。DeeperForensics-1.0中的所有源视频都是经过精心挑选的,因为它们的质量和多样性都很高。

程序员欢乐送(第49期)

目前,数据还不能下载,不过官方表示,后续会马上发布,敬请期待。

项目地址:点击查看

6、ffmpeg-python

计算机视觉专业毕业的学生,对于FFmpeg应该都不陌生。

FFmpeg是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。

FFmpeg有非常强大的功能包括:视频采集、视频格式转化、视频截图、视频添加水印、视频切片(m3u8、ts)、视频录制、视频推流、更改音视频参数(编码方式、分辨率、码率、比特率等)功能,等等。

而 ffmpeg-python 就是后人针对 FFmpeg 开发的Python API,有了这个工具后,使用Python就可以轻松调用 FFmpeg 进行视频处理。

程序员欢乐送(第49期)

项目地址:点击查看

7、transferlearning

有研究迁移学习的同学吗?

简单来讲,迁移学习是一种机器学习方法,就是把为任务 A 开发的模型作为初始点,重新使用在为任务 B 开发模型的过程中,从而减少开发成本。

程序员欢乐送(第49期)

transferlearning 这个项目,就是一个涵盖所有关于迁移学习的项目,包括:介绍、综述文章、最新文章、代表工作及其代码、常用数据集、硕博士论文、比赛等等。

可能是目前最全的迁移学习资料库。

项目地址:点击查看

快乐

1、请问你是对眼保健操有什么误会?

程序员欢乐送(第49期)

2、梦真的是反的

程序员欢乐送(第49期)

程序员欢乐送(第49期)

程序员欢乐送(第49期)

财富

下周五就要过年了。

绩效谈完、年终奖发完,估计都心痒痒早点回家了吧。

正好,趁着这段时间,找两本理财书读一读,涨涨财商。

先说说几本,非常适合入门的。

《小狗钱钱》,是以一只小狗的口吻,给小朋友写的一本理财科普书,语言很浅显、很有趣。

主要就是讲我们为什么要理财、怎么开始、怎么像富人一样的思考和积累财富。

跟《小狗钱钱》差不多的入门级别书还有,《穷爸爸与富爸爸》、《隔壁的百万富翁》。

如果你对于上面这些书的内容早已了解,那么可以看一下《穷查理宝典》,这本书是巴菲特的亲密好友、合伙人查理·芒格写的。

非常易读,主要聊的是一些理财投资方面的“质朴大道”。人人可学,十分受用。

如果看书,看得乏味了,可以看一看 BBC 纪录片《无节制消费的元凶》。

最后

下周就过年了,“程序员欢乐送”停更两周,2月7号恢复正常更新,期间可能会不定期推送一些其它技术教程。

最后,祝各位春节快乐万事如意!

weinxin
微信公众号
分享技术,乐享生活:Jack Cui公众号每周五推送“程序员欢乐送”系列资讯类文章,欢迎您的关注!
Jack Cui

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:10   其中:访客  6   博主  4

    • avatar Pluto4U 来自天朝的朋友 谷歌浏览器 Mac OS X 10_14_6 浙江省杭州市 电信 4

      沙发!下载工具很良心

        • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Mac OS X 10_14_4 北京市 百度网讯科技联通节点

          @Pluto4U :idea: :idea: :idea:

        • avatar Pluto4U 来自天朝的朋友 谷歌浏览器 Mac OS X 10_14_6 浙江省杭州市 电信 4

          发现网站有个小bug:
          用浏览器的缓存登录后,页面最左上角显示“登录”的按钮,实际上已经登录过了,并且可以提交评论,再次点击登录后用户名会显示出来

            • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Mac OS X 10_14_4 北京市 百度网讯科技联通节点

              @Pluto4U 这个可能是缓存插件的问题,我不太会修,哈哈 :!: :!:

                • avatar Pluto4U 来自天朝的朋友 谷歌浏览器 Mac OS X 10_14_6 浙江省杭州市 电信 4

                  @Jack Cui 小问题 :mrgreen: :mrgreen:

              • avatar 锟斤拷锟斤拷(shanyonggang.cn) 来自天朝的朋友 谷歌浏览器 Windows 7 北京市 移动 0

                划水等待打卡下班

                • avatar hallelujah 来自天朝的朋友 谷歌浏览器 Windows 7 浙江省杭州市 电信 1

                  感谢Jack大佬,每周都等着看程序员欢乐送~
                  祝新年一切顺利,技术更加进步~
                  谢谢~

                    • avatar Jack Cui Admin 来自天朝的朋友 谷歌浏览器 Mac OS X 10_14_4 北京市 百度网讯科技联通节点

                      @hallelujah 感谢支持啦~
                      也祝你在新的一年,身体健康,技术更强!
                      :mrgreen: :mrgreen: