解剖屎山,寻觅黄金之第二弹

发布时间:2023-06-10 17:36:51     来源:程序员客栈

大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。

在最开始,我的第一版实现是这样的:

publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}


(资料图)

那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:

publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}

我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁

确实牛逼。

我基于上面的思路微改了下入口,代码最终演变成这样:

publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}

到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)

去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):

通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录

为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:

1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉

2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉

从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:

DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);

Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)

而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder

/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMapserviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}

前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:

而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。

LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19

1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。

2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。

3、redis使用lua脚本来保证原子性和减少网络io的损耗

4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)

5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳

针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?

A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。

为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。

为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。

推荐项目

最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。

毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。

如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。

仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin

我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟

VIP服务

标签:

精彩推送

环球速讯:2023西藏高考结束,听他们怎么说!

6月9日,随着最后一门藏语文考试的结束,2023年西藏自治区高考正式落下

2023-06-10

环球时讯:淮南市大通区九龙岗第一小学(关于淮南市大通区九龙岗第一小学介绍)

来为大家讲解以上的问题。淮南市大通区九龙岗第一,南市大通区九龙岗第

2023-06-10

全球简讯:吉愿罐、定胜糕、考神咖……快消企业“高考”营销寻增量

6月7日,一年一度的高考正式开考。考场之外,快消企业们也拉开了一场热

2023-06-10

感悟怎么写200到300字 感悟怎么写

1、过程概述;按时间顺序或工作内容对一段时期的工作过程进行提炼,不能

2023-06-10

斗鱼美股跌6.48%

斗鱼美股跌6 48%---中国经济网北京6月10日讯斗鱼美股周五收报1 01美元

【全球新视野】淮南市大通区统计局(关于淮南市大通区统计局介绍)

来为大家讲解以上的问题。淮南市大通区统计局,南市大通区统计局介绍这

环球时讯:淮南市大通区九龙岗第一小学(关于淮南市大通区九龙岗第一小学介绍)

来为大家讲解以上的问题。淮南市大通区九龙岗第一,南市大通区九龙岗第

2023端午节股市休市几天

股票市场是已经发行的股票转让、买卖和流通的场所,包括交易所市场和场

前沿热点:【云视角】寻味云南茶 留住非遗香

今天,从茶出发,寻味非遗。

头条焦点:孝感市举行2023年“安全生产月”启动仪式

孝感市举行2023年“安全生产月”启动仪式---今年6月是第22个全国“安全

天天热点评!红酒最佳伴侣是指什么?

国内唇齿留香“赤霞珠”搭配伴侣:多种食物和菜系只要留意一下酒瓶上的

解剖屎山,寻觅黄金之第二弹

大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我

环球热点评!曹庆兵(关于曹庆兵介绍)

来为大家解答以上的问题。曹庆兵,庆兵介绍这个很多人还不知道,现在让

全球热消息:襄阳6家企业签约入驻军创园地

襄阳6家企业签约入驻军创园地---6月8日,襄阳市兴鸿翔退役军人就业创业

环球速讯:2023西藏高考结束,听他们怎么说!

6月9日,随着最后一门藏语文考试的结束,2023年西藏自治区高考正式落下

原创组图 | “共建自贸港——遇见·相约夏日”钢琴音乐会亮相三亚

音乐会现场。音乐会专程邀请了星海音乐学院钢琴系教师、研究生导师、雅

天天热推荐:兄弟打印机怎么清零 兄弟打印机怎么加墨粉

1、一:分解加粉从打印机内取岀硒鼓,将粉盒鼓架分离,宁开粉盒两端上

天天热头条丨青鬼院蜻蛉摘下面具(青鬼院蜻蛉)

豆来为大家解答以上的问题。青鬼院蜻蛉摘下面具,青鬼院蜻蛉这个很多人

天天热门:张怡宁将执教印度乒乓球队?假的!

训练营将有一个特殊的教练阵容,包括来自中国的张怡宁,她被誉为历史上

端午假期机票比“五一”便宜两成,你想好去哪玩了吗? 天天关注

由于避开了暑期旅游高峰,端午节前后的国内国际机票价格较高峰期都划算

环球速讯:专家企业家齐聚哈尔滨 共谋人工智能引领龙江数字经济发展

活动现场签署战略合作框架协议。 中关村孵化器供图  哈尔滨6月10日

快看:这就是信心|优化营商环境 各地硬招、实招频出

这就是信心|优化营商环境各地硬招、实招频出

助力农产品“飞”向更大市场,如皋磨头镇家庭农场党建联盟电商直播基地启用|观天下

交汇点讯“直播间的小伙伴们,大家好,我是磨头镇镇长薛涛,今天我为丁

全球简讯:吉愿罐、定胜糕、考神咖……快消企业“高考”营销寻增量

6月7日,一年一度的高考正式开考。考场之外,快消企业们也拉开了一场热

“两个效益”彰显文化企业使命担当

“两个效益”彰显文化企业使命担当

我的世界披风怎么弄

登录minecraftskinme这个网站点击右上角注册 登录注册一个帐号登陆后点

感悟怎么写200到300字 感悟怎么写

1、过程概述;按时间顺序或工作内容对一段时期的工作过程进行提炼,不能

海南省演艺集团受邀参加“庆祝香港回归祖国26周年家乡市集嘉年华活动”|今日快看

6月3日,由香港广东社团总会、香港福建社团联会、香港广西社团总会、香

2023年6月10日氯化苯价格最新行情预测 环球今头条

中国报告大厅2023年6月10日氯化苯价格最新走势监测显示:山东九福生物

天天即时看!怀抱美景品美酒!这个可以有!周末来张家口怀来新推出的三条旅游线路如愿吧

6月3日,以“怀抱美景,来喝一杯”为主题的怀来葡萄酒产区旅游线路新闻

dhcp服务器怎么设置(dhcp服务器)

来为大家解答以上问题,dhcp服务器怎么设置,dhcp服务器很多人还不知道

鸡肉丸的十种吃法?

步骤 方式1鸡肉丸白菜汤大白菜洗净切成粗丝,粉丝用热水泡软,再用冷水

王永调研阿洛亚与蜜泉湖联通工程时强调:树立“大景区、大旅游”理念 努力打造全域旅游胜地

6月9日,县委书记王永深入项目一线调研阿洛亚与蜜泉湖联通工程建设,他

高考结束,学生抬着老师冲出考场,网友感慨:这是我回不去的青春呀_世界看点

6月9日12点30分左右,长沙市一中考点的大门正式打开,结束考试的学生激

平安保险app叫什么(平安保险app叫什么)-当前速读

平安保险报销app叫什么平安保险的手机App是――“平安金管家”,可以到

诺基亚8800第一代(诺基亚8800)-环球快讯

来为大家解答以上问题,诺基亚8800第一代,诺基亚8800很多人还不知道,

又一座改变城市格局的TOD产城!邀您抢占先机

又一座改变城市格局的TOD产城!邀您抢占先机,云谷,先机,中国金茂,城市

mac地址是什么的缩写(mac地址是什么)|当前聚焦

来为大家解答以上问题,mac地址是什么的缩写,mac地址是什么很多人还不

世界观点:暗黑4稳压威能介绍

暗黑4稳压威能是很多暗黑玩家都关注的,暗黑4是最新才发售的暴雪力作,

苹果手机越狱了会有什么后果(苹果手机越狱)

来为大家解答以上问题,苹果手机越狱了会有什么后果,苹果手机越狱很多

6月10日起,230趟列车卧铺票可在线选位-速看

6月10日,国铁集团在12306网站(含手机客户端,下同)试行在线选铺服务

新华全媒+|夜幕下,一个群体带动城市消费新热潮

海报制作:方金洋新华社天津6月9日电(记者郭方达宋瑞)放上置物架、挂

江苏2023年普通高考顺利结束  环球观点-环球资讯

6月9日,江苏2023年普通高考安全顺利结束。作为一次以奋斗为注脚的“成

头条焦点:欧冠决赛别想法太多!墨守成规的瓜迪奥拉 才能率领曼城无往不利

欧冠决赛别想法太多!墨守成规的瓜迪奥拉才能率领曼城无往不利,曼城,拜

墨镜品牌的天花板(墨镜品牌)

来为大家解答以上问题,墨镜品牌的天花板,墨镜品牌很多人还不知道,现

中指发布《2023中国东北房地产10强》联祥地产等企业入榜

中指发布《2023中国东北房地产10强》联祥地产等企业入榜,经营,联祥地产

焦点热讯:日本并行货是什么意思(行货是什么意思)

来为大家解答以上问题,日本并行货是什么意思,行货是什么意思很多人还

当前报道:外媒:西方重启加息危及全球增长

外媒:西方重启加息危及全球增长,加息,美联储,货币政策,全球增长,通胀

湖南设全国首个省级数字商务智库透露了什么?

湖南设全国首个省级数字商务智库透露了什么?,曾鸣,湖南省,汪向东,研究

精选!四川阿坝州茂县发生3.2级地震,震源深度18千米

据中国地震台网正式测定,6月10日10时52分在四川阿坝州茂县(北纬31 73

什么药能死猫(异烟肼能杀死猫吗)

助壮素能死猫吗有机磷是一种很强、很有效的蚤及壁虱的药物。猫对有机磷

精彩推荐