xxl-job是一款非常優秀的任務調度中間件,輕量級、使用簡單、支持分布式等優點,讓它廣泛應用在我們的項目中,解決了不少定時任務的調度問題。
我們都知道,在使用過程中需要先到xxl-job的任務調度中心頁面上,配置執行器executor 和具體的任務job ,這一過程如果項目中的定時任務數量不多還好說,如果任務多了的話還是挺費工夫的。
假設項目中有上百個這樣的定時任務,那么每個任務都需要走一遍綁定jobHander后端接口,填寫cron表達式這個流程…
我就想問問,填多了誰能不迷糊?
于是出于功能優化(偷懶 )這一動機,前幾天我萌生了一個想法,有沒有什么方法能夠告別xxl-job的管理頁面,能夠讓我不再需要到頁面上去手動注冊執行器和任務,實現讓它們自動注冊到調度中心呢。
分析
分析一下,其實我們要做的很簡單,只要在項目啟動時主動注冊executor和各個jobHandler到調度中心就可以了,流程如下:
有的小伙伴們可能要問了,我在頁面上創建執行器 的時候,不是有一個選項叫做自動注冊 嗎,為什么我們這里還要自己添加新執行器?
其實這里有個誤區,這里的自動注冊指的是會根據項目中配置的xxl.job.executor.appname,將配置的機器地址自動注冊到這個執行器的地址列表中。但是如果你之前沒有手動創建過執行器,那么是不會給你自動添加一個新執行器到調度中心的。
既然有了想法咱們就直接開干,先到github上拉一份xxl-job的源碼下來
整個項目導入idea后,先看一下結構:
結合著文檔和代碼,先梳理一下各個模塊都是干什么的:
xxl-job-admin:任務調度中心,啟動后就可以訪問管理頁面,進行執行器和任務的注冊、以及任務調用等功能了
xxl-job-core:公共依賴,項目中使用到xxl-job時要引入的依賴包
xxl-job-executor-samples:執行示例,分別包含了springboot版本和不使用框架的版本
為了弄清楚注冊和查詢executor和jobHandler調用的是哪些接口,我們先從頁面上去抓一個請求看看:
好了,這樣就能定位到xxl-job-admin模塊中/jobgroup/save這個接口,接下來可以很容易地找到源碼位置:
按照這個思路,可以找到下面這幾個關鍵接口:
/jobgroup/pageList:執行器列表的條件查詢
/jobgroup/save:添加執行器
/jobinfo/pageList:任務列表的條件查詢
/jobinfo/add:添加任務
但是如果直接調用這些接口,那么就會發現它會跳轉到xxl-job-admin的的登錄頁面:
其實想想也明白,出于安全性考慮,調度中心的接口也不可能允許裸調的。那么再回頭看一下剛才頁面上的請求就會發現,它在Headers中添加了一條名為XXL_JOB_LOGIN_IDENTITY的cookie:
至于這條cookie,則是在通過用戶名和密碼調用調度中心的/login接口時返回的,在返回的response可以直接拿到。只要保存下來,并在之后每次請求時攜帶,就能夠正常訪問其他接口了。
到這里,我們需要的5個接口就基本準備齊了,接下來準備開始正式的改造工作。
基于 Spring Boot + MyBatis Plus + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能
改造
我們改造的目的是實現一個starter,以后只要引入這個starter就能實現executor和jobHandler的自動注冊,要引入的關鍵依賴有下面兩個:
com.xuxueli xxl-job-core 2.3.0 org.springframework.boot spring-boot-autoconfigure
1、接口調用
在調用調度中心的接口前,先把xxl-job-admin模塊中的XxlJobInfo和XxlJobGroup這兩個類拿到我們的starter項目中,用于接收接口調用的結果。
登錄接口
創建一個JobLoginService,在調用業務接口前,需要通過登錄接口獲取cookie,并在獲取到cookie后,緩存到本地的Map中。
privatefinalMaploginCookie=newHashMap<>(); publicvoidlogin(){ Stringurl=adminAddresses+"/login"; HttpResponseresponse=HttpRequest.post(url) .form("userName",username) .form("password",password) .execute(); List cookies=response.getCookies(); Optional cookieOpt=cookies.stream() .filter(cookie->cookie.getName().equals("XXL_JOB_LOGIN_IDENTITY")).findFirst(); if(!cookieOpt.isPresent()) thrownewRuntimeException("getxxl-jobcookieerror!"); Stringvalue=cookieOpt.get().getValue(); loginCookie.put("XXL_JOB_LOGIN_IDENTITY",value); }
其他接口在調用時,直接從緩存中獲取cookie,如果緩存中不存在則調用/login接口,為了避免這一過程失敗,允許最多重試3次。
publicStringgetCookie(){ for(inti=0;i3;?i++)?{ ????????String?cookieStr?=?loginCookie.get("XXL_JOB_LOGIN_IDENTITY"); ????????if?(cookieStr?!=null)?{ ????????????return?"XXL_JOB_LOGIN_IDENTITY="+cookieStr; ????????} ????????login(); ????} ????throw?new?RuntimeException("get?xxl-job?cookie?error!"); }
執行器接口
創建一個JobGroupService,根據appName和執行器名稱title查詢執行器列表:
publicListgetJobGroup(){ Stringurl=adminAddresses+"/jobgroup/pageList"; HttpResponseresponse=HttpRequest.post(url) .form("appname",appName) .form("title",title) .cookie(jobLoginService.getCookie()) .execute(); Stringbody=response.body(); JSONArrayarray=JSONUtil.parse(body).getByPath("data",JSONArray.class); List list=array.stream() .map(o->JSONUtil.toBean((JSONObject)o,XxlJobGroup.class)) .collect(Collectors.toList()); returnlist; }
我們在后面要根據配置文件中的appName和title判斷當前執行器是否已經被注冊到調度中心過,如果已經注冊過那么則跳過,而/jobgroup/pageList接口是一個模糊查詢接口,所以在查詢列表的結果列表中,還需要再進行一次精確匹配。
publicbooleanpreciselyCheck(){ ListjobGroup=getJobGroup(); Optional has=jobGroup.stream() .filter(xxlJobGroup->xxlJobGroup.getAppname().equals(appName) &&xxlJobGroup.getTitle().equals(title)) .findAny(); returnhas.isPresent(); }
注冊新executor到調度中心:
publicbooleanautoRegisterGroup(){ Stringurl=adminAddresses+"/jobgroup/save"; HttpResponseresponse=HttpRequest.post(url) .form("appname",appName) .form("title",title) .cookie(jobLoginService.getCookie()) .execute(); Objectcode=JSONUtil.parse(response.body()).getByPath("code"); returncode.equals(200); }
任務接口
創建一個JobInfoService,根據執行器id,jobHandler名稱查詢任務列表,和上面一樣,也是模糊查詢:
publicListgetJobInfo(IntegerjobGroupId,StringexecutorHandler){ Stringurl=adminAddresses+"/jobinfo/pageList"; HttpResponseresponse=HttpRequest.post(url) .form("jobGroup",jobGroupId) .form("executorHandler",executorHandler) .form("triggerStatus",-1) .cookie(jobLoginService.getCookie()) .execute(); Stringbody=response.body(); JSONArrayarray=JSONUtil.parse(body).getByPath("data",JSONArray.class); List list=array.stream() .map(o->JSONUtil.toBean((JSONObject)o,XxlJobInfo.class)) .collect(Collectors.toList()); returnlist; }
注冊一個新任務,最終返回創建的新任務的id:
publicIntegeraddJobInfo(XxlJobInfoxxlJobInfo){ Stringurl=adminAddresses+"/jobinfo/add"; MapparamMap=BeanUtil.beanToMap(xxlJobInfo); HttpResponseresponse=HttpRequest.post(url) .form(paramMap) .cookie(jobLoginService.getCookie()) .execute(); JSONjson=JSONUtil.parse(response.body()); Objectcode=json.getByPath("code"); if(code.equals(200)){ returnConvert.toInt(json.getByPath("content")); } thrownewRuntimeException("addjobInfoerror!"); }
2、創建新注解
在創建任務時,必填字段除了執行器和jobHandler之外,還有任務描述 、負責人 、Cron表達式 、調度類型 、運行模式 。在這里,我們默認調度類型為CRON、運行模式為BEAN,另外的3個字段的信息需要用戶指定。
因此我們需要創建一個新注解@XxlRegister,來配合原生的@XxlJob注解進行使用,填寫這幾個字段的信息:
@Target({ElementType.METHOD}) @Retention(RetentionPolicy.RUNTIME) public@interfaceXxlRegister{ Stringcron(); StringjobDesc()default"defaultjobDesc"; Stringauthor()default"defaultAuthor"; inttriggerStatus()default0; }
最后,額外添加了一個triggerStatus屬性,表示任務的默認調度狀態,0為停止狀態,1為運行狀態。
3、自動注冊核心
基本準備工作做完后,下面實現自動注冊執行器和jobHandler的核心代碼。核心類實現ApplicationListener接口,在接收到ApplicationReadyEvent事件后開始執行自動注冊邏輯。
@Component publicclassXxlJobAutoRegisterimplementsApplicationListener, ApplicationContextAware{ privatestaticfinalLoglog=LogFactory.get(); privateApplicationContextapplicationContext; @Autowired privateJobGroupServicejobGroupService; @Autowired privateJobInfoServicejobInfoService; @Override publicvoidsetApplicationContext(ApplicationContextapplicationContext)throwsBeansException{ this.applicationContext=applicationContext; } @Override publicvoidonApplicationEvent(ApplicationReadyEventevent){ addJobGroup();//注冊執行器 addJobInfo();//注冊任務 } }
自動注冊執行器的代碼非常簡單,根據配置文件中的appName和title精確匹配查看調度中心是否已有執行器被注冊過了,如果存在則跳過,不存在則新注冊一個:
privatevoidaddJobGroup(){ if(jobGroupService.preciselyCheck()) return; if(jobGroupService.autoRegisterGroup()) log.info("autoregisterxxl-jobgroupsuccess!"); }
自動注冊任務的邏輯則相對復雜一些,需要完成:
通過applicationContext拿到spring容器中的所有bean,再拿到這些bean中所有添加了@XxlJob注解的方法
對上面獲取到的方法進行檢查,是否添加了我們自定義的@XxlRegister注解,如果沒有則跳過,不進行自動注冊
對同時添加了@XxlJob和@XxlRegister的方法,通過執行器id和jobHandler的值判斷是否已經在調度中心注冊過了,如果已存在則跳過
對于滿足注解條件且沒有注冊過的jobHandler,調用接口注冊到調度中心
具體代碼如下:
privatevoidaddJobInfo(){ ListjobGroups=jobGroupService.getJobGroup(); XxlJobGroupxxlJobGroup=jobGroups.get(0); String[]beanDefinitionNames=applicationContext.getBeanNamesForType(Object.class,false,true); for(StringbeanDefinitionName:beanDefinitionNames){ Objectbean=applicationContext.getBean(beanDefinitionName); Map annotatedMethods=MethodIntrospector.selectMethods(bean.getClass(), newMethodIntrospector.MetadataLookup (){ @Override publicXxlJobinspect(Methodmethod){ returnAnnotatedElementUtils.findMergedAnnotation(method,XxlJob.class); } }); for(Map.Entry methodXxlJobEntry:annotatedMethods.entrySet()){ MethodexecuteMethod=methodXxlJobEntry.getKey(); XxlJobxxlJob=methodXxlJobEntry.getValue(); //自動注冊 if(executeMethod.isAnnotationPresent(XxlRegister.class)){ XxlRegisterxxlRegister=executeMethod.getAnnotation(XxlRegister.class); List jobInfo=jobInfoService.getJobInfo(xxlJobGroup.getId(),xxlJob.value()); if(!jobInfo.isEmpty()){ //因為是模糊查詢,需要再判斷一次 Optional first=jobInfo.stream() .filter(xxlJobInfo->xxlJobInfo.getExecutorHandler().equals(xxlJob.value())) .findFirst(); if(first.isPresent()) continue; } XxlJobInfoxxlJobInfo=createXxlJobInfo(xxlJobGroup,xxlJob,xxlRegister); IntegerjobInfoId=jobInfoService.addJobInfo(xxlJobInfo); } } } }
4、自動裝配
創建一個配置類,用于掃描bean:
@Configuration @ComponentScan(basePackages="com.xxl.job.plus.executor") publicclassXxlJobPlusConfig{ }
將它添加到META-INF/spring.factories文件:
org.springframework.boot.autoconfigure.EnableAutoConfiguration= com.xxl.job.plus.executor.config.XxlJobPlusConfig
到這里starter的編寫就完成了,可以通過maven發布jar包到本地或者私服:
mvncleaninstall/deploy
基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能
項目地址:https://github.com/YunaiV/yudao-cloud
視頻教程:https://doc.iocoder.cn/video/
測試
新建一個springboot項目,引入我們在上面打好的包:
com.cn.hydra xxljob-autoregister-spring-boot-starter 0.0.1
在application.properties中配置xxl-job的信息,首先是原生的配置內容:
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin xxl.job.accessToken=default_token xxl.job.executor.appname=xxl-job-executor-test xxl.job.executor.address= xxl.job.executor.ip=127.0.0.1 xxl.job.executor.port=9999 xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler xxl.job.executor.logretentiondays=30
此外還要額外添加我們自己的starter要求的新配置內容:
#admin用戶名 xxl.job.admin.username=admin #admin密碼 xxl.job.admin.password=123456 #執行器名稱 xxl.job.executor.title=test-title
完成后在代碼中配置一下XxlJobSpringExecutor,然后在測試接口上添加原生@XxlJob注解和我們自定義的@XxlRegister注解:
@XxlJob(value="testJob") @XxlRegister(cron="000**?*", author="hydra", jobDesc="測試job") publicvoidtestJob(){ System.out.println("#碼農參上"); } @XxlJob(value="testJob222") @XxlRegister(cron="591-20**?", triggerStatus=1) publicvoidtestJob2(){ System.out.println("#作者:Hydra"); } @XxlJob(value="testJob444") @XxlRegister(cron="595923**?") publicvoidtestJob4(){ System.out.println("helloxxljob"); }
啟動項目,可以看到執行器自動注冊成功:
再打開調度中心的任務管理頁面,可以看到同時添加了兩個注解的任務也已經自動完成了注冊:
從頁面上手動執行任務進行測試,可以執行成功:
到這里,starter的編寫和測試過程就算基本完成了,項目中引入后,以后也能省出更多的時間來摸魚學習了~
審核編輯:劉清
-
Micron
+關注
關注
0文章
29瀏覽量
56092 -
執行器
+關注
關注
5文章
375瀏覽量
19320 -
RBAC
+關注
關注
0文章
44瀏覽量
9944
原文標題:魔改xxl-job,徹底告別手動配置任務!
文章出處:【微信號:芋道源碼,微信公眾號:芋道源碼】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論