火山引擎ByteHouse助力大地量子精准、高效预测天气真相究竟是什么?

cht 2023-08-11 5次阅读

伴随着气象技术的发展以及城市气象设施的完善,气象监测服务能力在不断提高,实现短期甚至中长期的气象预测成为可能。

短期、长期的天气形势预测,不仅能帮助相关行业、有关部门针对性地进行极端天气防范准备,降低气象灾害带来的影响;还可以提升对风力、水力等可再生能源的利用效率,实现可持续发展,推动环境保护。

而大地量子正是这样一家深耕气象领域的公司。作为定位为AI大模型与数字孪生的公司,大地量子通过对PB级卫星遥感数据、气象数据的AI开发,打造业界领先的天气预测、清洁能源功率预测、绿电交易预测、碳汇碳排等技术产品,并利用自有的AI与超算优势,完成下一代气象预报系统。

图片1.jpg

预测一个地理位置的气象情况,实际是根据周围的观测站点的大量信息,做重合面积的地理信息查询,包括经纬度、温度、湿度等具体数值。除此之外,大自然中变幻莫测的风、雨、云、电,也会为数据的计算能力和实时查询也带来了巨大的难点。具体可以包括以下三点:

第一,地理信息数据处理能力,业务需要丰富的geo函数,用于整合海量的历史气象数据,对目标点位/区域实现天气预测;第二,高时效性查询需求,风场、云层预测等模型需要实时查询能力,快速做到结果反馈;第三,由于查询的接口众多,高并发扩展也是交互式业务不可或缺的能力之一。

如何解决这些痛点?大地量子选择了与火山引擎云原生数据仓库ByteHouse进行合作。

随着字节跳动业务的快速发展,产生了海量的产品使用数据分析需求。这类场景数据指标计算相对复杂、数据总量大且查询模式多变,要求底层数据计算引擎具备高可用性,以及具备应对超大数据规模下交互式实时响应的能力。ByteHouse的极致性能和强大计算能力,正是源于内部场景的多年积累和检验。

在字节跳动内部实践场景和海量数据打磨下的技术能力也复制在大地量子上,并进行了进一步升级。

据介绍,ByteHouse起初是基于开源ClickHouse引擎进行技术架构重构和优化。但相比起原生的ClickHouse,火山引擎ByteHouse基于独家自研的高可用引擎及查询优化器,可以为企业提供快速、稳定、安全的查询服务和数据写入性能。

从技术层面看,ByteHouse 提供了 PB 级数据秒级响应,通过增强的自研引擎,确保95%以上的查询均可在秒级返回,同时通过自研的HAEngine和元数据持久化等优化,ByteHouse提供了新的生产级高可用方案,能够保障其在大数据量场景下依然不会影响到查询分析体验。

大地量子通过将现场采集及大模型生成的气象数据导入到ByteHouse中,通过ByteHouse的多边形计算、方差、平均值等计算函数能力,支撑GEO查询和空间计算,满足其对预测系统以及交互式查询需求。另外,针对大地量子不同阶段数据波动情况,ByteHouse也提出了定制化解决方案。例如,在业务数据低谷期,ByteHouse提供集群节点进行自助升级能力,在保持产品功能更新的同时,能更灵活帮助大地量子控制产品版本,降低运维负担。

在降本增效层面,大地量子也利用ByteHouse进行了极致优化。ByteHouse 能支持用户自定义冷存储的比例,该能力帮助大地量子将查询频次较少的历史数据进行冷存,起到降低存储成本的作用,最终实现查询效率和成本之间的平衡。

目前,在业务实践中,平均查询任务时长始终保持在50毫秒以内,同时可以做到400QPS的峰值并发,火山引擎ByteHouse的高效率表现为大地量子提供了最有力的用数支持。

未来,大地量子将把部分功能作为API接口对外开放,ByteHouse的高查询性能足以满足预测系统及后续交互式查询需求,进一步为大地量子提供了查询并发的保障,为业务扩展提供基础。除此之外,由于ByteHouse 支持无损和自助水平扩容,随着数据量持续增加,大地量子也计划通过 ByteHouse 集群的水平扩容来动态调整和支持计算、存储能力,为高性能查询提供更强保障。

除了在气象领域落地,火山引擎ByteHouse还与中国地震台网中心、海王集团、莉莉丝游戏、极客邦科技等诸多行业企业达成了深度合作,凭借新一代的云原生架构,高效方便的运维模式,以及高性能更灵活的实时查询能力,为企业抓稳数字化机遇建立了夯实的地基,推动企业的数智化转型升级。

举报 0 收藏 0 打赏 0评论 0分享 0

 

 

更多>同类资讯

火山引擎ByteHouse助力大地量子精准、高效预测天气真相究竟是什么?

ISC 2023技术高峰会召开,赛博昆仑创始人郑文彬分享网络空间对抗新观点

8月9日,第十一届互联网安全大会(ISC 2023)AI新场景·安全新边界技术高峰会在北京召开。大会汇聚了业界专家学者、企业领袖和技术专业人员,分享AI新场景下前沿技术、创新产品及实践经验。赛博昆仑创始人兼CEO郑文彬受邀到会,并以“漏洞持久战”为题发表演讲,分享了包

08-10

火山引擎ByteHouse助力大地量子精准、高效预测天气真相究竟是什么?

权威外媒聚焦知名机构研报:波场及USDD二季度在动荡环境中逆势发展

近日,知名加密数据研究机构Messari和Reflexivity Research分别针对波场TRON和稳定币USDD发布了2023年第二季度及上半年研究报告。报告吸引多家海外媒体关注,全球权威财经媒体金融时报、彭博社、著名加密货币分析平台CoinMarketCap以及知名加密媒体CryptoSlate等均对此

08-10

火山引擎ByteHouse助力大地量子精准、高效预测天气真相究竟是什么?

火山引擎DataLeap:更强的数据目录搜索能力,做到一步找数

随着数据管理变得更加复杂,元数据的重要性呈指数级增加。如今,Data Catalog(数据目录)被看成是元数据管理的最佳工具,而一个通用的Data Catalog平台,通常包含元数据管理,搜索,血缘,标签,术语等功能。其中,搜索是Data Catalog的入口功能,承担着让用户“找到数”

08-10

火山引擎ByteHouse助力大地量子精准、高效预测天气真相究竟是什么?

那些把爱好当事业的人,最后怎么样了?

你选工作时,会选择喜欢的?还是大家眼里稳妥的“好工作”?在各种压力的“威胁”下,大部分人都会被迫选择后者。于是,“不喜欢现在的工作”,几乎成为了当代年轻人的通病。但今天,我们却见识到了两位执着于自我爱好的青年,一不小心就把兴趣玩成了事业,甚至完全转换了

08-10

火山引擎ByteHouse助力大地量子精准、高效预测天气真相究竟是什么?

新华·AIGC人才培优工程暨“数字人”产品发布会圆满举行

AI赋能教育,创新引领未来。8月8日,由中国广告协会融媒体工作委员会支持,中国东方教育集团主办,石家庄新华电脑学校、河北新华未来技工学校、中广AIGC产业发展联盟承办,北京中广华云智能科技有限公司、石家庄燕阵网络科技有限公司协办的新华·AIGC人才培优工程暨“数字人

08-10

火山引擎ByteHouse助力大地量子精准、高效预测天气真相究竟是什么?

央视关注抖音反网暴举措,一键防暴等功能被关注

近日,央视《法治在线》栏目报道了面对网络暴力,社会各界该如何联合治理的话题。节目对抖音平台在反网络暴力所做出的策略、产品、规范和倡议等进行了重点关注。报道称,抖音上线了一键防暴等功能,系统治理网络暴力现象,对网暴事件进行了积极预防和快速响应。超200万

08-10

火山引擎ByteHouse助力大地量子精准、高效预测天气真相究竟是什么?

加速实现可持续目标 三星Galaxy Z Flip5融入更多种类环保材料

近日,三星在国内正式推出了折叠屏新品Galaxy Z Flip5,其遵循着三星以人为本的理念,用一系列优化与创新再度刷新了折叠屏产品的体验,给广大消费者带来了诸多惊喜。对于这款产品,相信大家都把焦点放在了功能和配置上。不过,三星Galaxy Z Flip5不只拥有优异的功能性,

08-10

火山引擎ByteHouse助力大地量子精准、高效预测天气真相究竟是什么?

国货厨电飘香海外,科西助力《中餐厅》传递中国味道,弘扬中华文化

今年7月21日,火爆全网的《中餐厅》携带诱人的中式烟火气再次回归,在这档秉承“以人文寄情美食”宗旨,积极推广中华美食及文化的美食节目上,科西厨电产品频频亮相,助力合伙人们向世界传递中国的味道与文化。跟随《中餐厅》来到匈牙利,肩负宣传中华美食任务的科西厨

08-10

火山引擎ByteHouse助力大地量子精准、高效预测天气真相究竟是什么?

活力四射,科西VE飓风筒吹风机,尽显花young潮型

科西2022年推出的HC1高速吹风机,凭借高配置的转速和亿级负离子护发科技,深受用户们的喜爱,广受好评!2023年,科西成为小芒甄选品牌,HC1高速吹风机成为《乘风2023》姐姐们后台的造型利器,与姐姐并肩作战。更与阳光男孩黄子弘凡合作,推出科西森系家电产品。黄子弘凡

08-10

火山引擎ByteHouse助力大地量子精准、高效预测天气真相究竟是什么?

用户眼中的UC:一个好用了19年的浏览器

看到UC浏览器19周年的TVC,突然回想起最初下载UC的原因,就是省流量!!!当年我的第一部手机是最古早的按键手机,当时不是流量大把大把烧的时代,过去的“塞班”时代流量很贵,不仅如此,网速还令人捉急,一个圆圈转啊转啊就是不动弹。后来下载了UC浏览器,可算是拯救了我日渐干瘪

08-10

火山引擎ByteHouse助力大地量子精准、高效预测天气真相究竟是什么?

适合白天用投影仪,大眼橙X7D Pro亮度高是客厅首选

随着投影仪进入越来越多的家庭,一些消费者对投影仪的效果提出了更高的要求,希望购买到一台能够在白天使用,在开灯情况下也能有出色效果的投影仪,可又不知道该如何选购,不敢乱买。很多小白用户担心买的投影仪达不到预期,甚至踩坑。目前市场上各种投影仪品牌众多,产

08-10

火山引擎ByteHouse助力大地量子精准、高效预测天气真相究竟是什么?

AEKE登上新时代:拥抱东方健康运动新纪元

近年来,随着国家政策的大力支持和科技的飞速进步,健身行业蓬勃发展,众多新品牌如雨后春笋般涌现,推出各类智能健身设备、移动应用和在线课程等产品。然而,在激烈的市场竞争中,消费者对过度夸大宣传变得审慎,更看重产品的实际效果,渴望找到真正贴合个体需求的运动解决方案

08-10

火山引擎ByteHouse助力大地量子精准、高效预测天气真相究竟是什么?

AEKE开启健康运动新未来,打造更适合东方人的运动方式

近年来,健身行业蓬勃发展,科技创新推动着健身市场的不断升级。在众多新兴品牌中,备受瞩目的运动科技品牌AEKE,以其独特的视角和前瞻性的理念,吸引了广泛关注。AEKE品牌突破传统,深耕东方文化,为用户打造个性化的轻力量运动体验。在竞争激烈的市场环境下,新兴品牌争相角逐

08-10

火山引擎ByteHouse助力大地量子精准、高效预测天气真相究竟是什么?

海外知名媒体聚焦:华为云Web3.0节点引擎服务国际站首批支持波场TRON

近日,华为云Web3.0节点引擎服务国际站首批支持波场TRON的消息引起了多家国际知名媒体的高度关注和广泛报道,包括彭博社、Benzinga、Yahoo Finance、Financial Times和CryptoSlate等。其中,全球著名财经媒体彭博社发布了题为《TRON Receives Support from Huawei Web 3

08-10

火山引擎ByteHouse助力大地量子精准、高效预测天气真相究竟是什么?

技术赋能,在鸿蒙生态下华为互动媒体内容飞轮加速

引入:技术,正深刻地重塑着内容产业的面貌。近十年,中国数字内容产业市场规模从2013年的2157.8亿增长至2021年的14009.6亿,年复合增长率近25%。伴随着5G网络、AI和软硬件技术等的发展和升级,内容产业数字化程度不断提升,从平面到立体,从二维到多维,从单向传递到多


标签: 火山  引擎  ByteHouse  助力  大地  量子  精准  高效 


发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。