业界最强开源大模型来了!通义千问720亿参数模型正式开源真相究竟是什么?

cht 2023-12-01 8次阅读

12月1日,阿里云举办通义千问发布会,开源通义千问720亿参数模型Qwen-72B。Qwen-72B在10个权威基准测评创下开源模型最优成绩,成为业界最强开源大模型,性能超越开源标杆Llama 2-70B和大部分商用闭源模型。未来,企业级、科研级的高性能应用,也有了开源大模型这一选项。

通义千问还开源了18亿参数模型Qwen-1.8B和音频大模型Qwen-Audio。至此,通义千问共开源18亿、70亿、140亿、720亿参数的4款大语言模型,以及视觉理解、音频理解两款多模态大模型,实现“全尺寸、全模态”开源。力度之大,业界无出其右。

业界最强开源模型,填补中国LLM开源领域空白

Qwen-72B基于3T tokens高质量数据训练,延续通义千问预训练模型一贯以来的强势表现,在10个权威基准测评中夺得开源模型最优成绩,在部分测评中超越闭源的GPT-3.5和GPT-4。

英语任务上,Qwen-72B在MMLU基准测试取得开源模型最高分;中文任务上,Qwen-72B霸榜C-eval、CMMLU、GaokaoBench等基准,得分超越GPT-4;数学推理方面,Qwen-72B在GSM8K、MATH测评中断层式领先其他开源模型;代码理解方面,Qwen-72B在Humaneval、MBPP等测评中的表现大幅提升,代码能力有了质的飞跃。

业界最强开源大模型来了!通义千问720亿参数模型正式开源真相究竟是什么?

在10大权威测评中,通义千问720亿参数模型获得开源模型最优成绩

业界最强开源大模型来了!通义千问720亿参数模型正式开源真相究竟是什么?

通义千问720亿开源模型部分成绩超越闭源的GPT-3.5和GPT-4

Qwen-72B可以处理最多32k的长文本输入,在长文本理解测试集Leval上取得了超越ChatGPT-3.5-16k的效果。研发团队优化了Qwen-72B的指令遵循、工具使用等技能,使之能更好地被下游应用集成。比如,Qwen-72B搭载了强大的系统指令(System prompt)能力,用户只用一句提示词就可定制AI助手,要求大模型扮演某个角色或者执行特定的回复任务。

业界最强开源大模型来了!通义千问720亿参数模型正式开源真相究竟是什么?

用户仅用一句提示词就可创建自己的AI助手

此前,中国大模型市场还没出现足以对标Llama 2-70B的优质开源模型。Qwen-72B填补了国内空白,以高性能、高可控、高性价比的优势,提供不亚于商业闭源大模型的选择。基于Qwen-72B,大中型企业可开发商业应用,高校、科研院所可开展AI for Science等科研工作。

从1.8B到72B,通义千问率先实现全尺寸开源

如果说Qwen-72B“向上摸高”,抬升了开源大模型的尺寸和性能天花板;发布会上的另一开源模型Qwen-1.8B则“向下探底”,成为尺寸最小的中国开源大模型,推理2K长度文本内容仅需3G显存,可在消费级终端部署。

从18亿、70亿、140亿到720亿参数规模,通义千问成为业界首个“全尺寸开源”的大模型。用户可在魔搭社区直接体验Qwen系列模型效果,也可通过阿里云灵积平台调用模型API,或基于阿里云百炼平台定制大模型应用。阿里云人工智能平台PAI针对通义千问全系列模型进行深度适配,推出了轻量级微调、全参数微调、分布式训练、离线推理验证、在线服务部署等服务。

业界最强开源大模型来了!通义千问720亿参数模型正式开源真相究竟是什么?

阿里云是国内最早开源自研大模型的科技企业,8月以来开源了Qwen-7B、Qwen-14B和视觉理解模型Qwen-VL。几款模型先后冲上HuggingFace、Github大模型榜单,得到中小企业和个人开发者的青睐,累计下载量超过150万,催生出150多款新模型、新应用。发布会现场,多位开发者伙伴现身说法,分享了他们用Qwen开发专属模型和特定应用的实践。

阿里云CTO周靖人表示,开源生态对促进中国大模型的技术进步与应用落地至关重要,通义千问将持续投入开源,希望成为“AI时代最开放的大模型”,与伙伴们共同促进大模型生态建设。

通义千问基座模型持续进化,多模态探索业界领先

通义千问在多模态大模型领域的探索也领先业界一步,当天,阿里云首次开源音频理解大模型Qwen-Audio。

Qwen-Audio能够感知和理解人声、自然声、动物声、音乐声等各类语音信号。用户可以输入一段音频,要求模型给出对音频的理解,甚至基于音频进行文学创作、逻辑推理、故事续写等等。音频理解能够赋予大模型接近人类的听觉能力。

通义大模型能“听”也能“看”。通义千问8月开源出视觉理解大模型Qwen-VL,迅速成为国际开源社区最佳实践之一。本次发布会又宣布了Qwen-VL的重大更新,大幅提升通用OCR、视觉推理、中文文本理解基础能力,还能处理各种分辨率和规格的图像,甚至能“看图做题”。不论从权威测评成绩还是真人体验的效果看,Qwen-VL的中文文本理解能力都大幅超越了GPT-4V。

通义千问闭源模型也在持续进化,一个月前发布的通义千问2.0版闭源模型,最近已进阶至2.1版,上下文窗口长度扩展到32k,代码理解生成能力、数学推理能力、中英文百科知识、幻觉诱导抵抗能力分别提升30%、10%、近5%和14%。用户可以在通义千问APP免费体验最新版本的闭源模型。

举报 0 收藏 0 打赏 0评论 0分享 0

 

 

更多>同类资讯

业界最强开源大模型来了!通义千问720亿参数模型正式开源真相究竟是什么?

通义千问AI挑战赛开赛,畅玩开源模型家族

12月1日,首届“通义千问AI挑战赛”开赛,参赛者可免费畅玩通义开源模型家族,包括刚刚发布的720亿参数模型Qwen-72B。主办方为参赛者提供价值50万元的免费云上算力和丰厚奖金。赛事分为算法和Agent两大赛道,前者聚焦通义千问大模型的微调训练,希望通过高质量的数据探

12-01

首届通义千问AI挑战赛开赛,参赛者可畅玩通义开源模型家族

12月1日,首届“通义千问AI挑战赛”开赛,参赛者可免费畅玩通义开源模型家族,包括刚刚发布的720亿参数模型Qwen-72B。主办方为参赛者提供价值50万元的免费云上算力和丰厚奖金。赛事分为算法和Agent两大赛道,前者聚焦通义千问大模型的微调训练,希望通过高质量的数据探

12-01

最强开源大模型来了!通义千问720亿参数模型开源发布

12月1日通义千问发布会,阿里云开源通义千问720亿参数模型Qwen-72B。Qwen-72B在10个权威基准测评创下开源模型最优成绩,成为业界最强开源大模型,性能超越开源标杆Llama 2-70B和大部分商用闭源模型,可适配企业级、科研级的高性能应用。通义千问当天还开源了18亿参数模

12-01

双十二卧室投影仪买哪个好?当贝D5X Pro同价位画质表现最优

随着生活品质的提高,越来越多的年轻人喜欢追求仪式感,因此能够提供超大屏观影体验的投影仪就成了新潮流。于是趁着双十二,很多人就想给卧室添置一台投影仪,但市面的投影仪品牌五花八门,一不小心就很容易踩坑。那么,2023年双十二卧室投影仪怎么选?哪款值得买?方法其

12-01

业界最强开源大模型来了!通义千问720亿参数模型正式开源真相究竟是什么?

“鲸鸿动能·品牌共创计划”发布,多项权益助力品牌激发无限潜能

2023年10月11日,以“Go Brand. Go Target”为主题的鲸鸿动能私享会在上海成功举办。鲸鸿动能联合多个行业力量,正式发布“鲸鸿动能·品牌共创计划”,旨在利用华为先进的资源和技术优势,助力品牌焕发新活力,激活品牌新势能。“鲸鸿动能·品牌共创计划”是华为与合作

10-12

孙宇晨入选The Giving Block年度加密慈善人物

日前,全球主流加密捐赠平台The Giving Block公布了2023年度“加密慈善人物”榜单,以表彰过去一年在加密慈善领域做出卓越贡献的个人。其中,波场TRON创始人、火币HTX全球顾问委员会委员孙宇晨因其瞩目的慈善成就入选该榜单。在榜单评语中,The Giving Block指出,孙宇晨做出

12-01

业界最强开源大模型来了!通义千问720亿参数模型正式开源真相究竟是什么?

半透明充电鞍,八位堂燃云 Xbox 单充底座优雅上市

八位堂官方宣布燃云Xbox单充底座12月1日上午10点正式发售,售价139元,首发价99元。八位堂小程序、天猫、京东、拼多多、抖音将同步开售。这是八位堂在品牌成立十周年之际的又一力作,也是在新的一年到来的迎新之作,更是送给广大游戏爱好者的一份诚意之作。八位堂燃云Xb

12-01

一图读懂抖音电商综合业务食品生鲜行业2024年货节玩法攻略

“岁月交替万象新,旧桃新符喜气临”。年岁交替,不仅带来了万象更新,从促销角度看,为此设立的“年货节”大促也是食品生鲜行业商家不容错过的营销节点,是提前打开2024年生意销路,实现确定性增长的关键。为帮助商家把握“年货节”节点,实现生意破峰,11月28日,在抖音电商综

12-01

业界最强开源大模型来了!通义千问720亿参数模型正式开源真相究竟是什么?

点亮哥:企业数字化转型案例之蔚来汽车分享,上云-用数-赋能

【亿邦动力数字化频道】报道,企业数字化转型案例之蔚来汽车电动桩自11月3日蔚来汽车裁员10%的消息传出后,业界对蔚来的关注持续升温。在新能源汽车市场竞争日益激烈的大背景下,蔚来面临着诸多严峻挑战,包括销量低迷、定价策略争议、产品线过于拥挤以及高额的研发支出

12-01

用友BIP智能会计,助力企业“业财融合”

财务作为企业的核心部门,正逐渐成为企业的“信息加工中心”和“数据交汇中心”。随着企业业务变化加速,业务驱动财务的状态逐渐形成,使得业财融合的重要性更加显著。为了适应这种变化,企业需要构建“6大1精”的财务能力体系,即:大会计(智能会计)体系、大司库体系、

12-01

用友BIP:以创新科技视角助力中国企业数智化转型

随着云计算到AI技术的过渡,数字经济已经成为衡量企业乃至国家综合实力的重要评判标准,对于中国企业来说,平稳过度企业数智化迫在眉睫。对此,作为企业云服务和软件提供商的用友,不断深入探索行业发展新道路,以更为创新的数智技术与服务体系,助力中国企业做好数智化

12-01

业界最强开源大模型来了!通义千问720亿参数模型正式开源真相究竟是什么?

这个双11,火山引擎数据飞轮为企业生意带来更大确定性

今年4月,火山引擎提出了数据驱动的新范式——数据飞轮。针对企业当下“有数据,但不驱动”的问题,“数据飞轮”以数据消费为核心,使企业数据流充分融入业务流,增强业务发展动力。而刚刚过去的“双11”,则成为在实践中检验“数据飞轮”真实成效的一次契机。进入2023

12-01

2023中国上市公司ESG行动报告出炉,可持续发展为大势所趋

可持续发展已成为全球大势所趋,中国也正走在奋力推进联合国2030年可持续发展目标的大道上。ESG 是指环境(Environment )、社会(Social)和公司治理(Governance)三个方面的可持续发展要素。在微观上,ESG致力于促进商业生态健康重建;在宏观上,ESG有望推进人类社会可持续

11-30

业界最强开源大模型来了!通义千问720亿参数模型正式开源真相究竟是什么?

爱企查显示:长投集团10亿元在湖北成立医疗产业投资公司

爱企查App显示,近日,湖北省长江医疗产业投资有限公司成立,法定代表人为彭威,注册资本10亿元人民币,经营范围含以自有资金从事投资活动、企业管理咨询、第一类医疗器械生产销售、第三类医疗器械生产经营等。股东信息显示,该公司由长江产业投资集团有限公司全资持股

11-30

电视家不能用了,电视在哪看电视台节目?有什么好用的软件

朋友们,你们是不是突然发现电视台的节目变得超级不方便,之前用得好好的软件都停服了。别急,别急,我给大家带来了一些解决方法!哈趣影视,这个神器你值得拥有!不仅有海量的国产影视剧,还有港剧哦!不论是热门的国产剧,还是经典的剧集,在这里都能找到。想要看电视台


标签: 业界  最强  开源  大模型  通义  千问  720亿  参数  模型 


发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。