排查记录：每日大赛在线观看推荐内容为什么变问题出在哪？我用半小时给你一个结论
前言 最近有人反馈：每日大赛页的“为你推荐”内容突然变了，不再推赛事相关的直播/回放，而是推了很多无关的热门视频。作为习惯在各平台做排查的人，我用半小时完成了复现、定位与结论整理，把过程和可执行建议写在这里，方便产品、运维和普通用户快速应对。
一、复现与初步判断（0–8分钟）
- 复现步骤：在桌面和手机端分别打开大赛页，已登录与未登录两种状态都试验。问题可以稳定复现：所有用户看到的“推荐”倾向非赛事内容。
- 初步排除客户端问题：清缓存、切换网络、更新到最新版本后问题仍存在，说明更可能是服务端或中间层（缓存/实验/模型）问题。
- 网络抓包：对比正常页面和异常页面的推荐 API 返回，发现返回的 recommendationtype 从“personalizedsports”变成了“popular_generic”，且推荐列表中缺少赛事标签（tag）。
二、快速定位思路与工具（8–20分钟） 我按以下顺序快速排查，能在短时间锁定问题范围：
- API 响应对比（已做）——确认是推荐服务输出异常。
- 检查最近部署/灰度/实验（feature flags）——查看是否有新版本或试验影响模型选择。
- 模型与数据流水线健康——确认模型服务在线、向量索引/标签库是否更新正常。
- 中间层缓存/CDN/网关——排查是否存在旧响应被缓存导致异常。
- 日志与监控指标——查看推荐命中率、标签覆盖率的短期变化。
我利用了推荐 API 的直接请求、灰度管理后台、最近 24 小时的 deploy 列表与实验面板，以及模型服务的慢指标看板。
三、结论（20–30分钟） 最终结论：一次无意间开启/变更的实验（feature flag）把推荐策略从“赛事主题模型”切换为了“通用热门优先”的策略。具体表现是：推荐路由基于实验标识选择了错误的模型权重，导致带赛事标签的内容权重骤降，系统回退到“流行度优先”策略。不是缓存导致的，也不是客户端 bug，模型服务和数据流水线都正常，只是路由层的实验开关被误修改或在最近的灰度中发生了覆盖。
我验证了结论：
- 在灰度管理后台把相关实验回滚到原先策略后，接口立即恢复返回“personalized_sports”类型，客户端展示恢复正常。
- 在实验开启期间的日志中能看到模型选择逻辑走向了“fallback_popular”，并伴随标签覆盖率下降的指标突变。
四、短期修复建议（可立即执行）
- 先把涉事实验（或 feature flag）回滚到先前稳定配置，观察推荐返回与用户端展示是否恢复。
- 在恢复后清理关键缓存（若有 CDN 缓存推荐快照的机制，也同时 purge）以避免旧快照干扰观察。
- 给用户端推送一次小范围说明或更新状态页，避免大量用户重复报障。
五、长期预防与优化建议
- 实验/灰度流程加固：为推荐策略类实验增加“回归影响检测”阈值，若模型路由或标签覆盖率偏离常态立即自动阻断灰度扩散。
- 异常告警：在推荐层加入对“主题标签占比”的实时监控，偏离阈值触发报警并标注是实验引起或模型故障。
- 下线/快速回滚通道：保持一条一键回滚路径（feature flag dashboard）并做定期演练，减少人为误操作影响面。
- 增加可观测性：在推荐 API 响应中保留“模型来源/策略 id”字段，便于快速定位是哪一路策略在工作。
- 用户侧应对：当发生推荐异常时，提供“切换为仅赛事优先”临时选项给活跃用户，降低体验波动。
六、给普通用户的快速自救清单（3步）
- 更新客户端到最新版本并尝试重新登录。
- 清除应用缓存或切换网络后重试。
- 如果仍然异常，截图问题界面并把应用版本/账号 ID/时间发给平台客服，方便开发端定位。
结语 半小时能做的事情有限，但如果按复现 → 对比 API → 查实验/部署 → 验证回滚的流程走一遍，很多“推荐变了”的问题都能迅速定位为“实验/灰度/策略切换”或“模型路由异常”。本次事件的根因是实验配置导致的策略回退，恢复也很快。如果你负责产品或运维，把我写的长期建议落地，会大幅降低类似事件的发生频率。
需要我把上述过程整理成技术报告模板或提交给开发团队的工单说明吗？我可以把复现步骤、关键日志片段和回滚建议整理成一页纸的故障单，便于直接发给工程组。
