该能批下来。”
路容点头：“我看到文档了。数据清洗流程的设计，我需要先了解现有问题。”
“问题很多。”周哲切换页面，展示一组统计图表，“这是过去三个月‘深蓝’外围数据的可用率趋势。蓝色线是原始数据流入量，红色线是清洗后可用数据量。你看，可用率一直在62%到68%之间波动，离我们目标的80%差很远。”
图表上，红色曲线始终低于蓝色曲线，两条线之间的间隙代表被过滤掉的数据。
“过滤原因分析呢？”路容问。
周哲打开另一张图：“主要三大类：传输过程中产生的重复数据包，占比约18%；加密负载格式错误，无法解密，占比12%；数据字段缺失或格式异常，占比8%。剩下的就是各种零星问题。”
“重复数据包的判定规则是什么？”
“现有的规则很简单：相同device_id、相同timestamp、相同payload哈希值，判定为重复。”周哲说，“但问题在于，传输过程可能产生时间戳微秒级的差异，或者网络抖动导致同一个数据包被重复发送但带有不同的序列号。现有规则会漏掉很多。”
会议界面里又进来三个人。
都是技术部的同事，路容在之前的项目里见过他们的名字，但没直接合作过。他们依次打招呼，周哲简单介绍了路容的角色。
“若溪负责设计新的过滤规则，重点解决重复数据包和格式异常的问题。”周哲说，“我们需要在两周内拿出第一版方案，在测试环境跑通，然后逐步优化。”
一个戴眼镜的男同事开口：“重复数据包的判定，我建议加入时间窗口概念。比如同一个device_id在100毫秒内发送的多个数据包，如果payload相似度超过95%，就判定为重复。”
“相似度计算需要解密payload，计算成本很高。”另一个女同事反驳，“每天流入的数据量是TB级别，实时计算
本章未完，请点击"下一页"继续阅读！ 第4页 / 共13页