双十一大促即将来袭，火山引擎ByteHouse助力电商直播数据建设不该存在的秘密是什么？

cht 2023-10-18 9次阅读

“双十一”电商大促脚步渐近，各大平台的战火又将燃起。直播电商以低成本、高转化率等优势备受商家青睐。据智研咨询数据显示，2022年我国直播电商市场规模为34879亿元，较2017年的196.4亿元增长近178倍。

近几年来短视频平台数量不断增长，用户规模持续走高。短视频平台也加速直播电商布局，平台不仅具备商品营销推广、品牌塑造的能力，更具备成交、下单、评价等产品功能。

数据对于短视频平台尤为重要，例如短视频生产者需要根据粉丝量、视频播放量、播放时长等数据来判断账号如何进行后续运营，创作者周报等数据看板也能直观反映账号周期性运营情况。

当短视频平台相继引入直播能力之后，对数据实效性需求大大提升。通常情况下，一场直播的时长在几个小时之内，直播的生产消费时效性相比短视频会更强，因而直播数据对于实时性的诉求也就更高。实时数据分析可以帮助直播实现实时监测和策略调整、精准推荐和个性化营销，从而提高用户满意度，增加销售转化率。

那么，究竟什么样的数据引擎能力可以满足短视频日常运营以及直播电商双重诉求呢?

火山引擎ByteHouse在短视频领域推出的产品能力则可以一举解决这一问题。作为一款基于开源ClickHouse推出的云原生数据仓库，火山引擎ByteHouse能为用户提供极速分析体验，支撑实时数据分析和海量数据离线分析，同时还具备便捷的弹性扩缩容能力，极致分析性能和丰富的企业级特性。针对短视频/直播数据融合的问题，通过构建B端数据分析服务平台，ByteHouse支持统一维护和管理创作者、主播数据，并向平台运营人员、管理人员提供数据查询和分析服务，进一步提升数据使用效率，更好释放数据价值。

图片1.png

火山引擎ByteHouse短视频、直播数据批流一体写入及分析方案

据介绍，在短视频结合直播的场景中，短视频平台一般面临以下问题：创作者、电商、数据等各类数据格式不同、来源多样化;其次，平台同时存在离线、实时数据，在进行数据分析和加工时涉及到离线、实时数据源合并的问题;运营人员经常实时查询数据以便完成决策的需求，会对任意指标进行实时筛选、排序，因此需要平台具备高性能。

针对以上问题，火山引擎ByteHouse推出批流一体的能力，可以将实时查询、交互式分析与离线数据加工的处理流程整合在同一个平台，不仅仅能保证数据的一致性和准确性，避免数据在系统流转中出现不一致的问题，还可以简化数据处理架构，研发人员不再需要维护和管理多个工具、系统。

除此之外，运营人员需要对指标进行实时查询，秒级产出结果，ByteHouse主要通过自研Unique表引擎和 HaKafka引擎来解决这一问题。ByteHouse Unique表引擎在数据写入时即可完成实时去重和查询，同时自研 HaKafka引擎支持对数据进行缓存，能够解决系统高负载的问题，保障海量数据实时性。

在双十一等海量数据高并发的场景下，火山引擎ByteHouse提供的直播电商数据能力，不仅能保障数据唯一性、准确性，更能实现高性能、低延时。

除了在直播电商领域落地，火山引擎ByteHouse还与中国地震台网中心、海王集团、莉莉丝游戏、极客邦科技等诸多行业企业达成了深度合作，凭借新一代的云原生架构，高效方便的运维模式，以及高性能更灵活的实时查询能力，为企业抓稳数字化机遇建立了夯实的地基，推动企业的数智化转型升级。(作者：曾佳琪)