空降流量危机？QQ音乐升级架构应对高并发
# 关注并星标腾讯云开发者
# 每周3 | 谈谈我在腾讯的架构设计经验
#第2期|赵威：QQ音乐评论系统如何实现高可用？
【资料图】
QQ 音乐自诞生以来，已有多个版本的评论业务系统。最新版本是19年再次全新迭代，基于 tlist 存储，按照发表时间顺序展示。后续为了更好的用户体验，产品形态调整为评论盖楼模式，为了实现该功能，存储迁移到 mongo。
目前评论作为用户社交重要场景以及艺粉互动（明星空降）重要场地，经常会有突发流量。为了更好地保障空降场景评论体验，我们对评论系统进行充分的设计。
评论系统设计核心挑战点在于艺人空降时需要扛住突增的读写压力，包括评论数量、评论列表等读场景，以及发表评论，艺人评论置顶等写场景。
如果直接读 mongo，需要用非常高的存储成本来抗住读压力。对于高并发热 key，常规使用缓存方案，在缓存使用中注意做好防穿透以及限流策略，防止存储高负载雪崩。
评论写涉及比较复杂的业务逻辑，整体流程包含：
▶︎ 评论安全打击；
▶︎ 评论发布属地信息查询并记录；
▶︎ 评论是否需要置顶；
▶︎ 评论是否乐评人评论。
▶︎ ......
它涉及多个操作，部分处理失败会造成比较严重的体验问题。需要保障数据处理的一致性。为了保障一致性，一种是使用事务处理，强一致，但吞吐量稍微差些。另一种是使用可重入保障最终一致性，为了保障更高的吞吐量，写场景采用了最终一致方案。
通过消息队列解耦将评论写入高速 cache，异步写入 mongo。同时也能通过重试，确保比较核心数据最终写入 mongo。
通过上面两种设计，能在正常情况下很好满足日常评论的吞吐量，那是否真正做到高可用呢？随着业务迭代，在 add 消费场景再次增加了业务逻辑，比如增加上报，如果业务延时增加比较大或前置属地查询失败比较多时，整体 add 流程处理时延严重增加，导致消费效率下降、消息堆积，最后导致大盘全部评论全部延迟消费，用户体验出现发布后没有外显丢评论的体验问题。
评论系统引入热门消息队列，将全局评论和热门评论的消息队列做拆分。当热门消息过多时，最多只影响局部热门消息队列的堆积，对全局评论体验不影响。
上面没有在生成时直接写两个消息队列 topic，而采用对已有的消息队列再消费写入到热门消息队列，是由于下游还有很多场景在消费原有的消息队列，比如各种任务系统等，为了减少开发成本，采用了目前的方案。
采用上面的读写设计，基本能满足日常空降场景评论系统的可用性。随着空降参与艺人粉丝越来越多，业务遇到新的挑战。
艺人空降评论区艺粉互动效果不错，越来越多艺人空降评论区。粉丝参与热情高涨，读写流量节节高升，空降活动导致评论系统挑战越来越大，需要系统优化保障服务质量。我们通过如下方式来处理挑战：
▶︎ 增加写消费效率：增加 mongo 存储的存储核数，并增加消费并发度；
▶︎ 读服务平行扩容，并拆分缓存到更多的 key（uin%10等），防止热 key 太集中，增加读服务吞吐量；
▶︎ 拆分读服务和写服务部署，防止读写互相影响；
▶︎ 非关键场景限流，保障核心路径的可用性。
通过上述手段，保障空降活动大致稳定可靠，虽然遇到消费瓶颈，导致写场景有轻微堆积，但用户感知没有那么强烈。
其中一次大牌艺人活动中评论系统整体稳定可靠，但还是遇到了消费瓶颈，且中间出现了依赖存储 ckv 由于设置了降冷，在访问量非常高且空查询比较多的情况下，大量请求降到降冷存储 tssd。由于 tssd 降低成本设计未充分业务隔离，导致全平台 tssd 告警的问题。虽然通过限流紧急处理，但还是需要有系统性优化。
近期通过以下方面完成了相关的优化：
读场景
▶︎拆分评论数、点赞数存储从 ckv 迁移到 ckv+，不降冷，尽可能保障这两个数据可用性；
▶︎评论数增加本地缓存，增加版本号，保障用户体验无异常且评论数的高吞吐量；
▶︎前端保护后端，合理化请求时机，并在前端有数据情况下，遇到评论数或列表拉取异常时，前端不弹异常，减少异常感知；
▶︎前端优化页面体验，提升秒开率，提升用户体验。
写场景
▶︎ 拆分评论写场景逻辑，保障核心路径简化，优先保障写 mongo 速度和吞吐量，减少消息堆积概率；
▶︎ 增加优先级队列，保障艺人核心体验无阻塞；
▶︎ 完善相关工具建设，随时可以跟进相关数据或运营诉求，提升运营效率。
压测
▶︎读写场景常规压测，确保压测出业务瓶颈在运营场景需要情况下，能快速通过平行扩容，保障系统可用性。
通过一系列流程和架构优化，评论系统可用性得到进一步提升，相信在未来运营场景能很好地保障用户体验。欢迎各位在评论区交流讨论。以上就是本篇文章的全部内容了，如果文章对你有帮助，欢迎转发分享。
你亲历过哪些考验项目高并发/高可用的场景？你有什么可以分享的高并发/高可用经验吗？欢迎留言。我们将挑选一则最有趣的答案，为其留言者送出腾讯定制毛毯。8月16日中午12点开奖。
关注并星标腾讯云开发者 第一时间看鹅厂架构设计经验
标签：
推荐文章
- 空降流量危机？QQ音乐升级架构应对高并发
- 90后男子“三阳”抗原呈深紫色 “三阳”来了？症状如何？又一新冠变异株出现
- 买了一辆没有3c认证的老年代步车我能索赔吗
- 又要走？曝哈登不想再为费城效力 没有参加训练营的计划
- 总投资91.5亿元！三亚集中开工25个项目
- 呈现滨水社区活力！这里的“城中村”将进行改造
- 刺客信条幻影不会让你付费屏蔽广告
- 三倍频发生器承试设备供应（三倍频发生器）
- 手机后置双摄像头作用 手机后置双摄像头和单摄像头的区别
- 努力让医保基金每一分钱都花得更值
- ios15（beta7）
- AI为城市发展提“智”增速 华为云百城万企系列活动走进重庆
- 二年级仿写彩色的梦第三段第四段（二年级仿写彩色的梦第三段）
- 成武县这老两口与梨结“缘” 梨子丰收日子甜
- “居然要贴钱上班”！银行人吐槽自掏腰包“买存款” 50万存1天要贴400元 “完不成要扣3000块”
- 湖北省枣阳市发布雷电黄色预警
- windowsxp什么时候停止服务（xp系统停止服务怎么办）
- 最新！苏州全市人口1619.69万人
- 我在大厂，不再幻想升职加薪
- “媒体眼·看运河”扬州行将于8月13日启动
- 英媒：沙特希望参加日英意新战机开发计划
- 北塘应急分队连日巡逻查险 24小时守护大堤
- 【活动】民族团结促发展！永和里社区欢庆火把节
- 在长沙，打工人的“安全感”从何而来
- 专家：中国社会转为“养老为主” 人口拐点之后有哪些机遇？
- 又见737MAX
- 陕西：鼓励采取奖补措施引导地质灾害隐患点群众搬迁
- 【上海大师赛·签表】丁俊晖迎来赛季首秀，奥沙利文直接晋级第二轮，奖金小幅上涨！
- JK还可以这样穿？戚薇再次COS游戏角色，将JK穿出新模样！
- 黄铜与PVC管的完美结合连接之道详解
- 千亿私募景林最新持仓大曝光！Q2继续加仓中概股，大力押注AI
- 蒙台梭利的教育智慧 双色(关于蒙台梭利的教育智慧 双色简述)
- KBS：因待遇优厚，五年来80%离职韩国飞行员跳槽至中国航司
- 关于录像带
- 深交所：本周共对44起证券异常交易行为采取自律监管措施
- 逃避式读研 上岸之后路在何方 应该怎么做呢
- 德尔福派克电气系统有限公司武汉分公司（关于德尔福派克电气系统有限公司武汉分公司的介绍）
- 直播吧篮球女神大赛！小组赛Day5 雪儿、佳依、张月你Pick谁？
- 和的多音字和组词什么（和的多音字和组词）
- 距离地球最近的恒星是什么星 距离地球最近的恒星
- 换道超车+生态出海 我国新能源汽车受到海外市场青睐
- 钟山区：绘就旅游产业化高质量发展新画卷
- 海达股份：上半年净利润同比增长5.84%
- 北京利尔（002392）8月11日主力资金净卖出98.86万元
- 赫尔墨斯和雕像者的寓意和我国古代寓言什么的寓意相近（赫尔墨斯和雕像者的寓意）
- 第7号超强台风兰恩最新路径（8月11日14时）
- 长帝烤箱美食简单好吃 长帝烤箱食谱）
- “卢布结算令”扩大至农产品，能否重现天然气交易锚定卢布后的反弹吗？
- srvcli.dll修复方法一览
- 高频PWM调光能降低频闪吗
- esim一号双终端还是单独的esim好（eSIM一号双终端业务是什么意思）
- 盘龙药业(002864.SZ)：定增申请获证监会同意注册批复
- 全市共检查电动自行车及电池销售单位204家 发出整改通知书17份
- 中南文化：8月10日融资买入159.28万元，融资融券余额1.48亿元
- 出境团队游国家增至138个 多平台数据折射出境游热度升温
- 巅峰战舰驱逐舰怎么用 巅峰战舰驱逐舰优劣及使用技巧
- 我市着力拓展小微企业“首贷户”
- 期待更多高质量的学术交流（创新谈）
- 浙江经营主体数量达1000万户
- 英国智囊机构：英国近五年经济或将出现零增长
- 8月11日下午到12日上午唐山有中到大雨
- 云康集团(02325)将于8月25日派发末期股息每股0.22港元
- 2899元…苹果刚刚发布的新机，我劝你先别买
- 新传宽频羽毛球 新传宽频
- 沙特阿拉伯计划在巴基斯坦建立一座价值140亿美元的炼油厂
- 焦作市商业银行地址（焦作市商业银行）
- 阅文集团上半年净利润同比增长64.8% “AI+IP”生态或成为全新增长极
- 江海科技馆网上什么时候更新预约
- 武磊加盟申花（申蓝发布：武磊喜获第三胎）
- 食品饮料行业资金流出榜：贵州茅台、伊利股份等净流出资金居前
- 2023文昌火箭发射什么时候可以看？
- 离职一年后，原佳兆业副总裁程芯兰履新海岸集团
- 南方观察 | 2023海口杯帆船赛邀请赛海南海口落幕，广州南沙黑珍珠队伍夺冠
- * 金沙酒业“灵魂人物”张道红退出董事会，华润系占据80%高管职位
- 【碧蓝航线】当身体羸弱的指挥官来到了港区之后······（17）
- 中国移动钱岭：以网强算，中国移动提出“算力网络”全新技术方案
- 欧洲球队占据五席 日本目标重夺冠军
- 博德之门3月长石怎么拿
- 华懋与广州建筑湾区智造建立战略伙伴
- 遭百万粉丝网红举报，杭州新东方全面停课！家长着急“希望尽快复课”，网友吵翻
- 优酷会员11周年首次推出台词数藏，会员专属免费1100份，手慢无！
- 女子被老鹰抓伤 老鹰成功抓走蛇
- 二分音符图片 二分音符
- 广西交投科技打造“五廉”模式 深化清廉科技建设
- 要塞2秘籍怎么输入_要塞2秘籍
- 近期关注黄金板块走势
- 商隐为何换下特索涅夫？赵健博为何上那么晚？谢晖必须率大连人赢深足
- 【国际漫评】驻到哪 毒到哪
- 2023年手机柔性OLED出货预计达4.91亿片 增幅超25%
- 中央防汛物资运抵天津 为防汛抗洪救灾提供支持
- 7T超高场无液氦磁共振成像系统关键技术通过鉴定
- 热搜第一！网购花了249.2元，花呗却扣款三千多？回应来了→
- 周四（8月10日）亚太盘初，美国三大股指期货上涨0.2%。
- 释迦牟尼佛的正确读音（南无本师释迦牟尼佛读音）
X 关闭
资讯
X 关闭
