字节与浙大联合推多模态大语言模型Vista真相还有哪些？
Vista-LLaMA 在处理长视频内容方面的显著优势，为视频分析领域带来了新的解决框架。近年来，大型语言模型如 GPT、GLM 和 LLaMA 等在自然语言处理领域取得了显著进展，基于深度学习技术能够理解和生成复杂的文本内容。然而，将这些能力扩展到视频内容理解领域则是一个全新的挑战 —— 视频不仅包含丰富多变的视觉信息，还涉及时间序列的动态变化，这使得大语言模型从视频中提取信息变得更为复杂。面对这一挑战，字节跳动联合浙江大学提出了能够输出可靠视频描述的多模态大语言模...
2024.01.10
MindSpore嘉年华再启，静待多模态勇士问鼎华为Mate60大奖是真的吗？
MindCon 极客周是昇思 MindSpore 开源社区每半年举办一次的开发者狂欢盛会，旨在引领兴趣者们走入 AI 探索的世界。自 2020 年 12 月首届举办至今，每年都会与昇思 MindSpore 开源社区的开发者相聚，如今正式迎来第五届，回首第一届 MindCon 极客周时，昇思 MindSpore AI 框架刚刚开源半年，凭借热爱我们带领社区开发者从 0 到 1 参与开源贡献，也正式开启了众多热爱开源开发者的封神之路!随后三届赛事中，我们又收获了更多开源爱...
2023.12.20
4V！清华开源多模态14边形战士问世：在线可玩不该存在的秘密是什么？
看看这张图中有几个房子？如果你回答3个，就和GPT-4V的答案一样。 但是最新开源的国产多模态模型CogVLM-17B，就能看出另有玄机。 甚至能区分在图中完整可见1316世界之最的有3个和部分可见的有1个。 CogVLM由清华和智谱AI合作开发，通讯作者为唐杰和丁铭，论文和开源代码已上传到GitHub。 除这个单独案例之外，CogVLM-17B还在10项权威跨模态基准上取得了SOTA性能。 另外在VQAv2, OKVQ1316世界之最A, TextVQA, COCO...
2023.10.10
多模态 多引擎 超融合 新生态！2023亚信科技AntDB数据库8.0产品发布真相还有哪些？
9月20日，以“多模态 多引擎 超融合 新生态”为主题的亚信科技AntDB数据库8.0产品发布会成功举办，从技术和生态两个角度全方位展示了AntDB数据库第8次大型能力升级和生态建设成果。浙江移动、用友、麒麟软件、华录高诚、金云智联等行业伙伴及业界专家共同探讨了国产数据库发展现状及未来蓝图。AntDB数据库8.0产品实现了两大特性的重磅升级：“超融合架构”从实验室走向生产，流式计算升级为“超融合流式实时数仓”。AntDB数据库超融合架构从实验室环境正式走向生产，以六大执行...
2023.09.22
自研多模态追踪算法，PICO 为「手柄小型化」找到新思路你都知道哪些？
9月21日,PICO展示近期遭泄露的新手柄,并对外发布了其自研的Centaur多模态融合追踪算法。如前期谍照所示,PICO新手柄去掉了外围灯环的设计,并且没有额外增加传感器。据PICO官方透露,相比上一代手柄,新手柄重量减轻了约15g,高度减小了50%,并且还优化了内部电池和马达的位置,使其重心更靠近手心,握持手感更好,且兼具细腻振感。通常,去掉包含LED灯的追踪灯环,势必会降低手柄的追踪精度和稳定性。而PICO全新自研的Centaur多模态融合算法,融合了光学追踪算法和CV...
2023.09.21
掘力计划第23期 多模态大模型为视觉障碍者打造无障碍数字体验真相还有哪些？
2022年9月9日，掘力计划第23期线上技术分享活动以“AIGC的应用和创新”为主题，邀请到 Jina AI 工程师季光辉进行了主题为《多模态大模型为视觉障碍者打造无障碍数字体验》的演讲。他介绍了多模态人工智能产品 SceneXplain 如何通过算法创新，为残障人士提供平等的数字体验，网站链接：scenex.jinaai.cn/a/NEW。直播回放地址：https://juejin.cn/live/jpowermeetup23数字时代的无障碍体验随着移动互联网的兴起...
2023.09.15
阿里云通义千问再开源！具备图文理解能力的多模态大模型Qwen真相究竟是什么？
通义千问开源第二波!8月25日消息，阿里云推出大规模视觉语言模型Qwen-VL，一步到位、直接开源。Qwen-VL以通义千问70亿参数模型Qwen-7B为基座语言模型研发，支持图文输入，具备多模态信息理解能力。在主流的多模态任务评测和多模态聊天能力评测中，Qwen-VL取得了远超同等规模通用模型的表现。Qwen-VL是支持中英文等多种语言的视觉语言(Vision Language，VL)模型，相较于此前的VL模型，Qwen-VL除了具备基本的图文识别、描述、问答及对话能力...
2023.08.25
连接件模态分析（整车零部件结构模态刚强度振动疲劳联合仿真教程）真相究竟是什么？
导读：有限元法在机械结构模态、强度和刚度分析方面因具有较高的计算精度而到普遍采用，特别是在材料应力-应变的线性范围内更是如此。主机厂和汽车设计公司通过建立高性能的计算机辅助工程分析系统，其专业CAE队伍与产品开发同步地广泛开展CAE应用，在指导设计、提高质量、降低开发成本和缩短开发周期上发挥着日益显著的作用。 CAE应用于车身开发上成熟的方面主要有：模态、刚度、强度、NVH分析、机构运动分析等；而车辆碰撞模拟分析、金属板件冲压成型模拟分析、疲劳分析和空气动力学分析的...
2023.07.07
“紫东.太初” 全模态大模型正式发布 持续探索可自主进化的通用人工智能
6月16日，在人工智能框架生态峰会2023上，中国科学院自动化研究所所长徐波正式发布“紫东.太初”全模态大模型。“紫东.太初”全模态大模型是在千亿参数多模态大模型“紫东.太初”1.0基础上升级打造的2.0版本，在语音、图像和文本三模态的基础上，加入视频、信号、3D点云等模态数据，研究突破了认知增强的多模态关联等关键技术，具备全模态理解能力、生成能力和关联能力，面向数字经济时代加速通用人工智能的实现。会上，徐波首次对外实时展示了大模型在音乐理解与生成、三维场景导航、信号理解、多...
2023.06.19
