“技术驱动的多模态交互Native产品将形成新的产品习惯”
香港也有大模型公司了。
Weitu AI，一家全力打造多模态Native产品的公司，其创始人王历伟博士在介绍时，特别强调了“多模态Native”这个关键词 。
就在前不久，Weitu AI推出了自家的150亿参数多模态大模型WeituAI 1.0，在诸多国际权威评测榜单如MMMU[1]，MMBench[2]，CMMMU[3]，SEED-Bench[4]和MM-Vet[5]等上一路高歌猛进。
虽然参数规模不算大，但不仅力压200亿参数量以下的同量级模型，甚至在一些榜单直接超车LLaVA-NeXT-34B、MM1-30B-Chat等更大模型。
这些评测结果不仅反映模型的性能优势，也反映了其多模态能力的全面性。
例如，在由俄亥俄州立大学，滑铁卢大学，卡内基梅隆大学和普林斯顿大学等机构联合发布的大规模多学科多模态理解和推理数据集MMMU上，WeituAI 1.0取得了百亿参数模型中的优异成绩，仅次于一系列规模更大的模型，如GPT-4V等[1]。
在由香港科技大学、中科院自动化所和北京大学等机构组织的中文学科多模态数据集CMMMU上，WeituAI 1.0在200亿参数量以下模型中排名第一[3]。
探索算法创新，瞄准多模态交互Native
为什么首先是百亿参数模型？
据王历伟博士介绍，因为这个参数规模的模型在打造实际多模态场景产品的时候，有非常灵活的想象空间。
此次在这些多模态大模型评测基准上展示了基础的多模态理解能力，但是目前上述的评测基准大多以理解能力为主，尚没有完全展示Weitu AI大模型最擅长和最有特点的多模态交互能力。
Weitu AI针对多模态交互做了很多结构优化，不仅让WeituAI 1.0模型在传统的多模态理解任务上保持优势，更让其在多模态交互Native场景大放异彩。
事实上，作为深耕多模态（视觉和自然语言结合领域）十多年的资深专家，王历伟博士对当下大模型的局限有着敏锐洞察。
当问到为什么会出现这样的情况，王历伟博士指出，“原因很多，但是有一个非常本质且当前诸多多模态模型尚未完全解决的问题是， 传统的图像文本映射到同一个向量特征空间(embedding)的表达方法对视觉和跨模态建模具有局限性。 ”
总结起来就是，多模态大模型技术其实还有很多可以改进的地方，而Weitu AI也在不断探索算法上的创新。
技术驱动产品，“双轮驱动”成就多模态新机遇
在王历伟博士看来，一款成功的多模态Native产品，离不开技术和产品力的“双轮驱动”，缺一不可。
和移动互联网时代的产品相比，要打造一款成功的多模态Native产品有何不同？
王历伟博士认为，需要同时满足两个因素：第一个是产品力，第二个就是人工智能多模态技术。
据悉，截止到4月，Weitu AI的多模态图像语言理解等技术被全球化的产品公司调用功能即将超过一亿次，而且这个数字会未来会持续增长。
但在王历伟博士看来，这还远远不够。
他认为，Weitu AI的细粒度跨模态理解能力持续给这些全球化的客户平台公司输送提高产品智能交互能力的“燃料”，而且这种细颗粒度理解能力只是Weitu AI多模态着力打造的多项技术优势中的一种。
不仅如此，Weitu AI自己的一款充满想象力的C端产品也在努力打造中。未来 Weitu AI将致力于打造丰富的多模态交互Native产品矩阵，而这些产品矩阵的基础，就是Weitu AI不断进化和发展的多模态交互大模型。
站在用户和市场的角度，多模态大有可为
最后，王历伟博士分享了他对创业的感悟:
Weitu AI的故事，恰恰诠释了技术与产品力的“同理心”。他们在多模态技术的攻坚上不遗余力，更以对用户痛点的洞察，为这项前沿技术找到落地的场景。于是，我们看到的不再是简单的技术堆砌，而是与人的交互习惯深度融合的“多模态新产品”。
如果对打造这个新产品感兴趣，欢迎多模态大模型、AIGC、模型训练、推理和部署等方向的技术研发，前端和后端工程师，C端产品经理、产品运营、产品增长等方向的优秀人才投送简历至： job@weitu.ai
商务洽谈，也欢迎邮件联系contact@weitu.ai
评测榜单链接 （其中WeituAI 1.0模型名称 Weitu-VL-1.0）
[1] https://mmmu-benchmark.github.io/
[2] https://mmbench.opencompass.org.cn/leaderboard
[3] https://cmmmu-benchmark.github.io/
[4] https://huggingface.co/spaces/AILab-CVC/SEED-Bench_Leaderboard
[5] https://paperswithcode.com/sota/visual-question-answering-on-mm-vet
本文链接：香港大模型公司Weitu AI首秀，打造多模态Native的技术和产品http://www.llsum.com/show-2-4675-0.html
声明：本网页内容由互联网博主自发贡献，不代表本站观点，本站不承担任何法律责任。天上不会到馅饼，请大家谨防诈骗！若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。