大家好,今天继续聊聊科技圈发生的那些事。
一、MiniCPM-V
我们能把 GPT 本地部署到手机上了!不是用 API,而是完全本地化!
MiniCPM-V,这是一款端侧可用的 GPT-4V 级多模态大模型。MiniCPM 是一个大系列的模型,通常来说,大模型都是部署在服务器上,或是 PC 本地部署的。而 MiniCPM 将大模型部署到了手机上!(当然,苹果手机肯定是用不了的)
系列有两个值得关注的模型,一个是 MiniCPM,一个是 MiniCPM-V,二者的区别主要在于,MiniCPM-V 侧重于图像处理。而今天我们分享的内容,主要关于 MiniCPM-V。
对于这样一款侧重图像分析的模型,我们只需要提供一张图片作为输入,再提供一些文本指示需要根据图片生成的内容,模型就会在很快的时间内提供输出。比如,你可以让它帮你把图片中的内容转成 Markdown 格式,或是分析图上讲了什么。
MiniCPM-V 拥有超级优秀的 OCR 能力。MiniCPM-Llama3-V 2.5 可接受 180 万像素的任意宽高比图像输入,在OCRBench 得分达到 725,超越 GPT-4o、GPT-4V、Gemini Pro、Qwen-VL-Max 等商用闭源模型,遥遥领先!
借助最新的 RLAIF-V 对齐技术,MiniCPM-Llama3-V 2.5 具有更加可信的多模态行为,幻觉率已经显著低于 GPT-4V-1106,来到了开源模型的 TOP1 宝座。
无论你使用的是 Windows、Mac 还是手机,MiniCPM-V 都能兼容你的设备提供本地部署方案。当然,Huggingface 的在线体验 demo 也已经发布。感兴趣的小伙伴,可以根据条件自行试试。
在线体验地址:
https://huggingface.co/spaces/openbmb/MiniCPM-V-2
项目地址:
https://github.com/OpenBMB/MiniCPM-V
二、VirtualWife
VirtualWife,虚拟老婆?一个令人激动,又有一点害羞的名字,事实上,这是一款虚拟数字人项目。基于 Python 开发,运用了自然语言处理(NLP)和机器学习技术,你可以创建属于自己的 AI 伴侣。
不知道大家是否有了解过前些年大火的游戏《主播女孩重度依赖》?在游戏中,玩家作为男友陪伴患有心理疾病的主播女友,不断攻略发展,最终走向不同的结局。
即使拥有20多种不同的结局和拉满的小细节,游戏的内容始终是人们设定好的。现在,VirtualWife 项目可以让我们真正的实现虚拟伴侣,不再是类似 Galgame 的交互,而是配合人工智能技术,实现你本人“私人订制”的伴侣。
实现 VirtualWife 的核心是 NLP 技术。NLP 即 Natural language processing,自然语言处理。这使得 AI 可以通过自然语言输入进行语义的理解和分析,并且能给出相应的输出。同时,随着交互越来越深入,VirtualWife 会通过持续的学习,生成更具个性化的回复。
于是,经过一段时间的培养,一个可以陪伴你日常生活,听你倾诉,有问必答的虚拟伴侣就诞生了。下至生活琐碎,上至天文地理,对你的 VirtualWife 来说都不在话下。
如果你愿意的话,通过 VirtualWife 创造的虚拟伴侣可以支持B站直播,你可以在直播间的弹幕里发信息,它会像一个真正的虚拟主播一般回复你。
项目通过 Docker 部署,项目主页上也有很完整的部署教程,感兴趣的小伙伴可以自行体验一下。
项目地址:
https://github.com/yakami129/VirtualWife
好了,本期的内容就是这么多,我们下期再见!