字节跳动AB实验经验分享：企业如何构建数据驱动的实验文化？是真的还是假的？

近日，CCF TF举办了第123期分享活动，本期主题为“用户体验工程”。 CCF TF是中国计算机学会为企业界计算机专业人士创建的企业间常态化合作交流平台，本期分享邀请到了来自火山引擎、牛游谷公司等在用户体验工程领域有着良好实践的专家，共同探讨在数智化时代，面对复杂用户场景和超高体验要求，如何通过有效的体验测量和管理、利用A/B测试技术，在新趋势下持续追求卓越并提升产品竞争力。

在活动中，来自火山引擎AB测试平台的专家结合字节跳动的AB实验经验，进行了《数据驱动的实验文化》为主题的现场分享。AB测试是用户体验优化过程中必不可少的一环，也被称为效果衡量的“金标准”，字节跳动具有数据驱动的实验文化，在这样的土壤中，AB测试也成为了字节跳动优化用户体验的利器。

在企业中，能让AB实验发挥最大效用的企业实验文化搭建，可以从组织、方法论与工具应用三个维度关注。在企业组织层面，需建立完善AB实验的流程机制，字节的AB实验与产品的设计研发紧密嵌合，每个小决策都会得到实验验证才推全上线。与此同时，组织机制的配套同样重要，通过搭建AB测试接口团队，运行好从实验设计到开发、上线、完成决策的整个链路。火山引擎DataTester这样的“工具+咨询服务”双轨机制，在字节内部应用的同时，也正在面向外部企业提供服务。

在方法论层面，一个AB实验文化能良性运转的企业，是将增长思路与AB实验理念相结合的企业，将业务目标转化为核心衡量指标，并通过AB实验的设计、运行、迭代，不断选取最优策略逼近业务目标;企业也应通过搭建指标体系、设立优化目标、管理实验效果以及积累决策经验四步，辅助实现科学评估效果。

在工具层面，一个可靠灵活的AB实验平台可以为企业节约很多人力成本与时间成本。在字节跳动，“万物皆可AB测试”，而火山引擎DataTester在经历了字节多年业务打磨后，也具备了易学易用、快速安全、可处理复杂场景实验需求的能力。2023年中数据显示，字节已通过DataTester累计做过240万余次AB实验，日新增实验 4000余个，同时运行实验5万余个。

对于用户体验优化而言，体验度量的难点包含评价主观性和用户多样性等，AB测试能帮助业务团队提供更为科学的数据参考，通过客观的数据对比来反馈产品体验的好坏，但同时需要数据实验文化理念与先进工具的良好结合。

在成熟的实验文化与AB实验工具支撑下，字节跳动践行出了一条行之有效的产品用户体验提升之路，而企业可以参考上述经验，通过自建或引入AB测试“工具+咨询服务”双轨机制的方式，从组织、方法论与工具应用三个维度入手，搭建属于企业自己的数据驱动的实验文化，用实验科学决策，用数据驱动增长。(作者：胡智城)

举报 0 收藏 0 打赏 0评论 0分享 0

更多>同类资讯

表格技术应用案例：深度整合SpreadJS表格技术，打造卓越竞赛平台体验

湖南中德安普网络大数据科技有限公司(以下简称中德安普)于2014年创立，是一家拥有着30多年财务、审计、评估、管理咨询、成本管控等专业技术经验的团队的国家级高新技术企业。中德安普凭借数十项软件著作权和发明专利，融合了财经大数据、云计算、公有云平台、移动互联网

11-21

低代码应用案例：借助低代码开发平台，激发自主成长能力

深圳市明泰智能技术有限公司(以下简称明泰智能)成立于2011年，是一家智能终端替代及协助人工柜台技术服务商，致力于解决政务服务和商业服务中的效率和安全问题，提供自助服务终端系统、行业定制读卡及交易终端、工业路由器等系列产品。明泰智能是一家集软、硬技术研发、

11-21

爱企查显示：比亚迪方程豹再成立2家销售公司

爱企查App显示，近日，上饶方程豹汽车销售有限公司和曲靖方程豹汽车销售有限公司成立，法定代表人分别为梁锋和张海添，注册资本均为100万元人民币，经营范围大多包括汽车销售、二手车经纪、机动车鉴定评估、食品销售、保险代理业务等。股权穿透图显示，上述两公司均由深

11-21

Interbrand全球最佳品牌榜公布 三星连续四年蝉联全球TOP5

三星凭借以用户体验为中心的战略与引领AI、6G等未来技术发展获得业界高度认可，品牌价值高达914亿美元，2023年11月21日，三星电子连续第四年荣膺全球品牌咨询公司Interbrand评选的全球最佳品牌排行榜TOP5。Interbrand每年都会发布“全球最佳品牌”榜单，今年榜单中显示

11-21

铁路信创时代，易捷行云EasyStack引领行业数字化变革

11月14日，第十六届中国国际现代化铁路技术装备展览会(MODERN RAILWAYS 2023)在中国国际展览中心(朝阳馆)隆重开幕。作为中国电子集团成员单位，易捷行云EasyStack亮相展会，吸引了与会行业人士的诸多关注。展会现场本次展会以“铁路高质量发展服务和支撑现代化建设”为

11-21

茉莉智慧南京悦榕庄店卓然启幕 顶奢谧境 智启金陵

矿谷环拥，崖壁为幕，3.0奢适月子体验，现已卓然登场古都金陵。茉莉智慧母婴护理中心，携手江苏省首家悦榕品牌酒店——南京园博园悦榕庄，开启品牌第十家门店。依托悦榕品牌独特的「身心庇护殿堂」款待哲学，碰撞茉莉智慧独家「3.0智慧康养」体系，于矿谷秘境中，为南京

11-21

以突破性创新变革行业格局：三星MICRO LED的六年发展之路

十七年以来，三星电子一直站在变革性显示技术的最前沿，凭借其强劲的行业实力和专业性，引领着全球电视市场的产品创新。三星通过不断的突破性进步改变着所在行业的格局，让用户得以通过全新的方式体验世界。在近期于上海举办的进博会上，三星101英寸MICRO LED完成中国首

11-21

数字化驱动业务发展，华为云与生态伙伴共谋卓越运营

11月17日，“2023华为云生态领航者 共创沙龙”在广州召开。本次对话围绕卓越运营话题，华为云邀请到了各业界嘉宾、行业专家、生态伙伴相聚一堂，结合卓越运营痛点难点和具体实践案例，进行全方位的经验分享。多方对话观点碰撞，共同推动华为云生态的繁荣发展活动开始的

11-21

3000元投影仪哪个牌子好？当贝F5画质卓越，家庭影院的首选

现在的年轻人越来越倾向于使用投影仪来代替电视机，因为投影仪能够提供更加震撼的观影体验。随着技术的不断发展，投影仪的画质也越来越出色，让人们可以在家里享受到影院级的观影感受。在市场上，有很多不同的投影仪品牌可供选择。在价格方面，3000元左右是一个比较受欢

11-21

电视家不能用了怎么办？还有这些电视软件可以看央视

最近，有不少用户反应电视家看不了。那么电视家停服了怎么办?在哪看电视呐?这里分享几个解决方法。其实可以在当贝市场里下载下面这几款看电视的软件收看央视的节目，以及一些精彩赛事第一款软件就是央视频TV版了。这是央视出品的软件，没有跑路风险。节目内容也很丰富，

11-21

三星Galaxy Z Fold5：轻量设计 前沿体验 成就折叠新标杆

历经四年发展的折叠屏手机，随着各项技术的成熟，终于拨云见日迎来爆发。Counterpoint Research的数据显示，2023年第二季度全球折叠屏智能手机市场同比增长10%，达到210万部，并有望从2024年起进入大众化折叠屏手机时代。在当下的折叠屏市场中，集轻量设计和前沿体验于

11-21

新品发布 | Vertiv™ Liebert® DA，双重动力，无限可能

您的业务正如数字经济势头一样蓬勃增长。何以满足未来超大型数据中心的高热密制冷需求，同时应对日益严苛的双碳政策低PUE、环境水资源限制、WUE政策要求?中国深圳，2023年11月21日-面对大型机房的散热挑战，我们需要一种变革性创新。维谛技术(Vertiv)重磅发布Vertiv™ L

11-21

德邦快递发挥直营优势 为烟台苹果优质运输服务提供保障

霜降过后，烟台苹果迎来了大丰收，红彤彤的苹果挂满枝头，在初冬暖阳的照耀下，泛着金黄的光亮。当地优质的沙壤土和温润的海洋气候为苹果种植提供了得天独厚的自然条件，孕育出了酥脆爽口的烟台苹果，是全国苹果产区中非常具有特色的代表性产品。眼前正值苹果上市季节，

11-21

初冬时节，赣南脐橙如约而至 德邦快递积极践行惠农、扶农、助农

初冬的暖阳照在身上，让人在寒冷中感到些许温暖，此时赣南脐橙如约迎来了丰收季，果农们纷纷忙着采摘，身着蓝色工装的德邦快递小哥也不停穿梭在枝繁叶茂的脐橙果园中，忙着帮助果农打包、发货。一个个饱满的脐橙在阳光的照射下金黄诱人，漫山遍野散发着果香，令人陶醉，

11-21

英雄联盟S13全球总决赛T1夺冠，三星玄龙骑士电竞显示器成就电竞领域“大魔王”

11月19日晚，在2023英雄联盟全球总决赛S13冠亚军决赛中，LCK赛区的T1战队以3比0战胜LPL赛区的WBG赢得冠军。真神归位，百炼为金，在Faker选手出道十周年之际，他带领着这支年轻的T1达成队史全球总决赛第四冠的成就，这股勇于拼搏、不断超越的电竞精神，也正是三星玄龙骑