解剖屎山,尋覓黃金之第二彈|環(huán)球熱推薦
大家好,我3y啊。由于去重邏輯重構了幾次,好多股東直呼看不懂,于是我今天再安排一波對代碼的解析吧。austin支持兩種去重的類型:N分鐘相同內容達到N次去重和一天內N次相同渠道頻次去重。
在最開始,我的第一版實現是這樣的:
(資料圖片)
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//運營總規(guī)則去重(一天內用戶收到最多同一個渠道的消息次數)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
那時候很簡單,基本主體邏輯都寫在這個入口上了,應該都能看得懂。后來,群里滴滴哥表示這種代碼不行,不能一眼看出來它干了什么。于是怒提了一波pull request重構了一版,入口是這樣的:
publicvoidduplication(TaskInfotaskInfo){//配置樣例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把構建去重參數和選擇具體的去重服務給封裝起來了,在最外層的代碼看起來就很簡潔了。后來又跟他聊了下,他的設計思路是這樣的:考慮到以后會有其他規(guī)則的去重就把去重邏輯單獨封裝起來了,之后用策略模版的設計模式進行了重構,重構后的代碼 模版不變,支持各種不同策略的去重,擴展性更高更強更簡潔
確實牛逼。
我基于上面的思路微改了下入口,代碼最終演變成這樣:
publicvoidduplication(TaskInfotaskInfo){//配置樣例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到這,應該大多數人還能跟上吧?在講具體的代碼之前,我們先來簡單看看去重功能的代碼結構(這會對后面看代碼有幫助)
去重的邏輯可以統一抽象為:在X時間段內達到了Y閾值,還記得我曾經說過:「去重」的本質:「業(yè)務Key」+「存儲」。那么去重實現的步驟可以簡單分為(我這邊存儲就用的Redis):
通過Key從Redis獲取記錄判斷該Key在Redis的記錄是否符合條件符合條件的則去重,不符合條件的則重新塞進Redis更新記錄為了方便調整去重的參數,我把X時間段和Y閾值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有兩種去重的具體實現:
1、5分鐘內相同用戶如果收到相同的內容,則應該被過濾掉
2、一天內相同的用戶如果已經收到某渠道內容5次,則應該被過濾掉
從配置中心拿到配置信息了以后,Builder就是根據這兩種類型去構建出DeduplicationParam,就是以下代碼:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了類似的寫法(在子類初始化的時候指定類型,在父類統一接收,放到Map里管理)
而統一管理著這些服務有個中心的地方,我把這取名為DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的業(yè)務Key,是在AbstractDeduplicationService的子類下構建的:
而具體的去重邏輯實現則都在LimitService下,{一天內相同的用戶如果已經收到某渠道內容5次}是在SimpleLimitService中處理使用mget和pipelineSetEX就完成了實現。而{5分鐘內相同用戶如果收到相同的內容}是在SlideWindowLimitService中處理,使用了lua腳本完成了實現。
LimitService的代碼都來源于@caolongxiu的pull request,建議大家可以對比commit再學習一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、頻次去重采用普通的計數去重方法,限制的是每天發(fā)送的條數。
2、內容去重采用的是新開發(fā)的基于redis中zset的滑動窗口去重,可以做到嚴格控制單位時間內的頻次。
3、redis使用lua腳本來保證原子性和減少網絡io的損耗
4、redis的key增加前綴做到數據隔離(后期可能有動態(tài)更換去重方法的需求)
5、把具體限流去重方法從DeduplicationService抽取出來,DeduplicationService只需設置構造器注入時注入的AbstractLimitService(具體限流去重服務)類型即可動態(tài)更換去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是當前的時間戳
針對滑動窗口去重,有會引申出新的問題:limit.lua的邏輯?為什么要移除時間窗口的之前的數據?為什么ARGV[4]參數要唯一?為什么要expire?
A: 使用滑動窗口可以保證N分鐘達到N次進行去重?;瑒哟翱诳梢曰仡櫹耇CP的,也可以回顧下刷LeetCode時的一些題,那這為什么要移除,就不陌生了。
為什么ARGV[4]要唯一,具體可以看看zadd這條命令,我們只需要保證每次add進窗口內的成員是唯一的,那么就不會觸發(fā)有更新的操作(我認為這樣設計會更加簡單些),而唯一Key用雪花算法比較方便。
為什么expire?,如果這個key只被調用一次。那就很有可能在redis內存常駐了,expire能避免這種情況。
推薦項目最后再叨叨吧,很多人可能會發(fā)一段截圖,跑來問我為什么要這樣寫,為什么要以這種方式實現,能不能以這種方式實現。這時候,我更想看到的是:你已經實現了第二種方式了,然后探討你寫的這種方案好不好,現有的代碼差在哪里。
畢竟問問題很簡單,我又不是客服,總不能沒誠意的問題我都得一一回答吧。
如果想學Java項目的,我還是強烈推薦我的開源項目消息推送平臺Austin,可以用作畢業(yè)設計,可以用作校招,可以看看生產環(huán)境是怎么推送消息的。
倉庫地址(可點擊閱讀原文跳轉):https://gitee.com/zhongfucheng/austin
我開通了股東服務內容,感興趣可以點擊下方看看,主要針對的是項目喲
VIP服務
標簽:
搶先讀
- 鄭州金水區(qū)金冠美寓周圍有學校嗎?附地址 世界觀熱點
- 環(huán)球速訊:牽手蘇寧:平曉黎的這步棋能“盤活”百度優(yōu)選嗎?
- 5位“新星”即將登陸CBA,三大核心降臨背后,遼粵迎來接班人_焦點熱聞
- 德約科維奇成為網壇GOAT,費德勒怎么看?諾瓦克還能繼續(xù)創(chuàng)造歷史-聚看點
- 山莊名字怎么取 山莊名字怎么取有意境 世界觀察
- 全球要聞:三星平板型號參數大全
- 濕疹護理比治療更重要嗎?
- 最新!麗水市中小學暑假時間定了
- 全球新動態(tài):淡化痘印用什么藥膏最見效?祛痘產品排行榜10強!
- 天天視點!“雞蛋荒”讓人造蛋在日本受關注
- 醫(yī)美消費復蘇 醫(yī)美分期公司服務費、貼息式砍頭息屢見不鮮_熱議
- 漫威班納博士將繼續(xù)留在復聯,并且還當上了老師?_新動態(tài)
- 飛利浦電視投屏設置在哪里 天天快消息
- 環(huán)球時訊:劉芳菲為被川大張薇霸凌的同學發(fā)文,網友卻說她純粹就是蹭流量
- 英鎊/美元行情綜述(2023年6月16日)|新消息
- 最新70城房價出爐!鄭州二手房價格同比下降4.6% 世界熱文
- 厚度符號在電腦上怎么打出來_厚度符號
- 速讀:耶穌為什么被控告
- 鐵皮石斛粉一斤多少錢(鐵皮石斛粉的功效與作用)
- (聚焦海峽論壇)吟唱詩詞傳家風 兩岸共揚中華文化
- 汕頭舉辦防臺防汛應急演練 世界動態(tài)
- 外交部:布林肯訪華期間,中方將闡明對中美關系的立場和關切_天天聚看點
- 全球看熱訊:選擇大城市逐夢還是小城市安穩(wěn)
- 環(huán)球熱訊:上海一外賣騎手被交警追車后發(fā)生車禍致死?上海警方:謠言!實為交警救助受傷騎手
- 世界熱點評!廣西桂林市舉辦2023年“世界認可日”活動
- 今日看點:小米移動網上營業(yè)廳官網全方位解析
- 下周端午!這份高鐵短途“逛吃”攻略請查收
- 千只鴨子大軍給水稻除草 網友:沖鴨!
- 俄外交部警告:西方國家欲通過數字獨裁實現全球霸權 每日看點
- 專家面對面答疑 陜西12355高考志愿填報服務開啟|今日精選
- 現在流行“上長下短”造型,學楊紫用西裝配短褲,顯高又時髦
- 股票行情快報:雷柏科技(002577)6月16日主力資金凈賣出805.89萬元
- 環(huán)球頭條:沖入球場擁抱梅西的小伙,把它帶火了……
- 長沙失業(yè)金領取條件及標準2023 具體情況如下
- 全球觀速訊丨黑河:愛輝區(qū)璦琿鎮(zhèn)大棚養(yǎng)螞蚱 “蹦”出致富路
- 祝學生中考加油的句子有哪些 快播報
- 2018黑龍江預科班有哪些學校考生省大專業(yè) 每日速看
- 國家海洋環(huán)境監(jiān)測中心與香港環(huán)境保護署簽署《關于開展海洋生態(tài)環(huán)境保護工作的合作安排》
- 武磊閃轉騰挪破門!國足3-0領先緬甸
- 四川的人間“天堂”,從成都開車4小時,景美如仙境,人還特別少|每日熱文
- 聚膠股份跌3.81%創(chuàng)新低 去年上市超募4.8億元-天天熱消息
- 國資物企開始割肉了|天天新消息
- 投資平穩(wěn)增長,服務業(yè)回升向好 1-5月杭州經濟運行延續(xù)恢復態(tài)勢 世界快報
- 環(huán)球百事通!二級建造師安全教育_二級建造師安全員b證考試時間
- 湖南今起三天迎強降雨過程 長沙常德等地有暴雨
- 云南勐綠高速建設順利推進 實現首個標段雙幅貫通 熱訊
- 青海油田68年累計生產油氣當量超過1.5億噸-焦點速讀
- 對肥皂過敏怎么辦,肥皂過敏癥狀及治療方法
- 統計數據里的樓市倒春寒
- 世界報道:肥西經開區(qū)開展安全生產月“咨詢日”活動
- 米體:曼聯對特奧感興趣,米蘭要價至少6000萬歐 世界今亮點
- 蘋果手機6s Plus多少錢一臺?看看市場行情分析
- 要聞:青島市市南區(qū)金門路街道職工巧手剪紙迎端午
- 天天熱門:長城汽車申請GPT相關商標
- 2023年蕪湖古城端午假期皖南板龍燈展演時間及地點-環(huán)球視訊
- CSGO開箱多少錢一個?csgo開箱必須花錢嗎? 世界焦點
- 環(huán)球微頭條丨祝兒子生日的俏皮句子 祝福兒子生日精辟短句
- 熱訊:陳雨菲晉級四強!2大勁敵相繼出局,國羽“一姐”迎奪冠良機
- 長沙市公共衛(wèi)生救治中心一期預計年底完工交付-全球即時
- 蘆薈有哪些作用?|全球快播
- 夢天木門有哪幾個系列_夢天木門的優(yōu)缺點是什么
- 韓媒評論:日本排了核污水,也丟了良心
- 解剖屎山,尋覓黃金之第二彈|環(huán)球熱推薦
- 領克09亞運行政五座版上市 售價28.99萬元
- CBA3消息!姚明解釋郭艾倫無緣中國男籃 遼寧隊頂薪續(xù)約奪冠功勛
- 技塑股份股東趙新春擬以特定事項協議轉讓的方式將其直接持有的553.27萬股公司股份轉讓給汪品洋
- 迪士尼可以帶防曬噴霧嗎 上海迪士尼穿衣的禁忌有哪些 全球微資訊
- 五部門:強化脫貧地區(qū)和脫貧人口金融支持|簡訊
- 觀察:邁入1500米超深水時代 “深海一號”助力我國端牢能源飯碗
- 一夜3隊陣容動態(tài)!馬刺確選文班,雄鹿挽留二將,快船給威少畫餅
- 天天資訊:上林油菜花田游玩攻略(上林縣油菜花景點)
- 官宣!常州入梅時間定了-當前視訊
- 黨爭鬧?。∶绹弥輰等f非法移民運往外地 招致強烈譴責|最新
- 2023年非上海生源高校應屆生進滬就業(yè)工作已啟動!嘉定新城用人單位看過來
- 安全狗云原生安全聯防聯抗策略告別冗長流量自學習
- C視頻|52.5米、地下17層樓高!記者探訪成都在建最深基坑開挖見底 全球最資訊
- 女孩有意義名字(女孩名字有意義的字) 天天觀點
- 金科股份: 關于存續(xù)債務融資工具相關事項的公告|天天時訊
- 【天天時快訊】《阿凡達:重返潘多拉》手游測試招募開始
- 信安世紀: 關于支付現金及發(fā)行股份購買資產標的資產過戶完成公告 當前滾動
- 全球今日訊!長沙市公共衛(wèi)生救治中心一期預計年底完工交付
- 江蘇省儀征市市場監(jiān)管局提前部署守護中考食品安全
- 聚焦新市民、年輕人,多地出臺公積金新政|今日報
- 360免費wifi怎么用 是不是還要買那個360隨身wifi
- 全球微頭條丨2023精密儀器行業(yè)市場規(guī)模及未來發(fā)展方向分析
- 珈偉新能源股份有限公司與中國電建集團貴州工程有限公司舉行新能源業(yè)務戰(zhàn)略簽約儀式
- “搖一搖”搖來詐騙犯
- 中國電商企業(yè)在西寧聯合發(fā)布電子商務綠色發(fā)展倡議|世界時快訊
- 你每天洗臉都對了嗎?正確洗臉方式是什么?
- 滬考欣語|強軍報國正當時
- 資訊:中國民航復蘇有望進一步加快
- 重慶美侖美奐醫(yī)院隆鼻怎么樣 看醫(yī)生實力就知道-世界熱資訊
- 全球今亮點!力勤資源(02245.HK):RKEF項目一期八條生產線均成功投產
- 新資訊:閨蜜是什么意思啊閨蜜意思簡述
- 當前短訊!在不在今天?賽前解說一致看好TES擊敗LGD
- 中使館:菲律賓發(fā)生6.2級地震 暫無中國公民傷亡報告
- 晶科能源與中國能建高層會談,擬全面深化戰(zhàn)略合作_環(huán)球播報
- 【天天速看料】大電池+超清影像 vivo Y35+陪你解鎖夏日新體驗
- 國內塑料管材行業(yè)發(fā)展分析 塑料管材市場供需狀況2023
- 李一男造車夢“復活”自由家NV換標大乘V07已通過工信部申報 全球焦點