NJUST KMG

南京理工大学
计算机科学与工程学院

代码

我们的代码放在 GitHub 账号 njustkmg上。

欢迎使用 OMML : :基于 PaddlePaddle 和 PyTorch 的多模态工具包,支持多模态分类、 跨模态检索和图文生成等多种应用。

OMML相关资料:
百度飞桨开发者说 《多模态学习研究及工具包PaddleMM介绍及应用》[B站]
飞浆PaddlePaddle 基于飞桨搭建的多模态学习工具包PaddleMM, Kaggle竞赛宝典[多模态学习工具包PaddleMM]
与百度paddlepaddle部门合作的 mulan-paddlemm ,现在已加入 木兰社区 [PaddleMM正式进入木兰开源社区进行孵化] [木兰开源社区2022年第十一次TOC会议]



Demo

我们开发了一个可以鉴别其真伪和品牌的网站 Ysneaker,主要功能如下。

identify

多模态融合分类

Trans

跨模态风格迁移

Re

跨模态检索



我们开发了一个用于垃圾分类,并检测出新的类别的网站 Garbage classification Website,主要功能如下。

Garbage detection

开放场景下的垃圾新类检测



我们开发了一个用于增强和优化家装图片语义描述的网站 Home Description:主要功能如下。

Home re

增强家装图片语义描述

Home op

优化家装图片语义描述