OpenAI 新项目 Shap-E 教程来了

大家好，我是 Jack。

OpenAI 又有新动作了，开源发布 Shap-E。

今天，我继续手把手教学。

算法原理、环境搭建、效果测试，一条龙服务，尽在下文！

一、Shap-E 效果

Shap-E 算法的功能，简单来讲就是根据一段文字描述，生成对应的 3D 模型，一起看几组效果。

输入文字：

A chair that looks like an avocado

（翻译：一把看起来像鳄梨的椅子。）

Shap-E 输出对应的 3D 模型：

输入文字：

A spaceship

（翻译：一艘太空船）

Shap-E 输出对应的 3D 模型：

输入文字：

An airplane that looks like a banana

（翻译：一架酷似香蕉的飞机）

更多生成效果：

目前 OpenAI 已经开源了 Shap-E 的代码。

二、算法原理

Shap-E 还是用到了潜空间扩散模型（Latent Diffusion）。

熟悉 Stable Diffusion 的小伙伴应该对于这个概念并不陌生，其实就是将一些高维信息，降维表示到一个特定的特征空间，然后再根据这些特征，做生成。

Shap-E 整体结构也是类似的 Encoder - Decoder 结构。

不过输入和输出变了，比如 Shap-E 的 Encoder 结构是这样的：

输入是点云模型，经过降维、交叉注意力层、Transformer等结构，最终获得一个 implicit MLP。

至于 Decoder 则采用 STF Rendering 进行渲染，同时加入了 CLIP 的 text embedding。

Shap-E 支持多模态，输入既可以是文字，也可以图片。

三、算法部署

项目地址：

https://github.com/openai/shap-e

算法部署并不复杂，Shap-E 只依赖于 CLIP。

可以单独创建一个名为 shape 的虚拟环境。

然后安装好 CLIP 的一些依赖。

进入 Shap-E 项目的根目录，直接 pip 安装即可。

pip 会根据 setup.py 进行安装。

我网速不太给力，本地搭建环境，大概花费了 1 个小时。

shap_e/examples/sample_text_to_3d.ipynb 是 text 生成 3D 模型的代码。

shap_e/examples/sample_image_to_3d.ipynb 是图片生成 3D 模型的代码。

在 A10 机器上，生成一次 3D 模型，大概需要花费 25 秒。

四、最后

当然，因为数据集等方面的原因，有些 3D 模型生成的效果还是挺差的。

比如我测试了A dog，得到了这么一个东西：

我输入A cat，得到了：

通过图片，生成 3D 模型，对于图片的要求很高，必须是白色背景的图片，效果才可以，或者干脆是透明背景。

在 Huggingface 也有人搭建了这个服务，非官方项目，但使用的是官方代码：

https://huggingface.co/spaces/hysts/Shap-E

我发出来之后，估计就有不少人排队了，可以错峰试玩。

测试了一番，我的感受是这样的：

如果你是这个方向的研究生，那这篇论文值得看，算法也值得跑一跑，一些思想可以参考，说不定下一篇 best paper 就是你的了。

但如果你是个吃瓜群众，那就别浪费时间跑了，效果还不到直接可用的程度，没有图片生成那种惊艳的效果，不能直接用来做一些素材的生产。

好了，今天就聊这么多吧，我是 Jack，我们下期见~