精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

xxl-job任務調度中間件解決定時任務的調度問題

jf_ro2CN3Fa ? 來源:碼農參上 ? 2023-01-31 09:53 ? 次閱讀

xxl-job是一款非常優秀的任務調度中間件,輕量級、使用簡單、支持分布式等優點,讓它廣泛應用在我們的項目中,解決了不少定時任務的調度問題。

我們都知道,在使用過程中需要先到xxl-job的任務調度中心頁面上,配置執行器executor 和具體的任務job ,這一過程如果項目中的定時任務數量不多還好說,如果任務多了的話還是挺費工夫的。

cf3f43f8-9ed1-11ed-bfe3-dac502259ad0.png

假設項目中有上百個這樣的定時任務,那么每個任務都需要走一遍綁定jobHander后端接口,填寫cron表達式這個流程…

我就想問問,填多了誰能不迷糊?

于是出于功能優化(偷懶 )這一動機,前幾天我萌生了一個想法,有沒有什么方法能夠告別xxl-job的管理頁面,能夠讓我不再需要到頁面上去手動注冊執行器和任務,實現讓它們自動注冊到調度中心呢。

分析

分析一下,其實我們要做的很簡單,只要在項目啟動時主動注冊executor和各個jobHandler到調度中心就可以了,流程如下:

cf548d08-9ed1-11ed-bfe3-dac502259ad0.jpg

有的小伙伴們可能要問了,我在頁面上創建執行器 的時候,不是有一個選項叫做自動注冊 嗎,為什么我們這里還要自己添加新執行器?

其實這里有個誤區,這里的自動注冊指的是會根據項目中配置的xxl.job.executor.appname,將配置的機器地址自動注冊到這個執行器的地址列表中。但是如果你之前沒有手動創建過執行器,那么是不會給你自動添加一個新執行器到調度中心的。

既然有了想法咱們就直接開干,先到github上拉一份xxl-job的源碼下來

整個項目導入idea后,先看一下結構:

cf5d6acc-9ed1-11ed-bfe3-dac502259ad0.png

結合著文檔和代碼,先梳理一下各個模塊都是干什么的:

xxl-job-admin:任務調度中心,啟動后就可以訪問管理頁面,進行執行器和任務的注冊、以及任務調用等功能了

xxl-job-core:公共依賴,項目中使用到xxl-job時要引入的依賴包

xxl-job-executor-samples:執行示例,分別包含了springboot版本和不使用框架的版本

為了弄清楚注冊和查詢executor和jobHandler調用的是哪些接口,我們先從頁面上去抓一個請求看看:

cf6a820c-9ed1-11ed-bfe3-dac502259ad0.png

好了,這樣就能定位到xxl-job-admin模塊中/jobgroup/save這個接口,接下來可以很容易地找到源碼位置:

cf752586-9ed1-11ed-bfe3-dac502259ad0.png

按照這個思路,可以找到下面這幾個關鍵接口:

/jobgroup/pageList:執行器列表的條件查詢

/jobgroup/save:添加執行器

/jobinfo/pageList:任務列表的條件查詢

/jobinfo/add:添加任務

但是如果直接調用這些接口,那么就會發現它會跳轉到xxl-job-admin的的登錄頁面:

cf803e58-9ed1-11ed-bfe3-dac502259ad0.png

其實想想也明白,出于安全性考慮,調度中心的接口也不可能允許裸調的。那么再回頭看一下剛才頁面上的請求就會發現,它在Headers中添加了一條名為XXL_JOB_LOGIN_IDENTITY的cookie:

cf8a6c7a-9ed1-11ed-bfe3-dac502259ad0.png

至于這條cookie,則是在通過用戶名和密碼調用調度中心的/login接口時返回的,在返回的response可以直接拿到。只要保存下來,并在之后每次請求時攜帶,就能夠正常訪問其他接口了。

到這里,我們需要的5個接口就基本準備齊了,接下來準備開始正式的改造工作。

基于 Spring Boot + MyBatis Plus + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能

改造

我們改造的目的是實現一個starter,以后只要引入這個starter就能實現executor和jobHandler的自動注冊,要引入的關鍵依賴有下面兩個:


com.xuxueli
xxl-job-core
2.3.0



org.springframework.boot
spring-boot-autoconfigure

1、接口調用

在調用調度中心的接口前,先把xxl-job-admin模塊中的XxlJobInfo和XxlJobGroup這兩個類拿到我們的starter項目中,用于接收接口調用的結果。

登錄接口

創建一個JobLoginService,在調用業務接口前,需要通過登錄接口獲取cookie,并在獲取到cookie后,緩存到本地的Map中。

privatefinalMaploginCookie=newHashMap<>();

publicvoidlogin(){
Stringurl=adminAddresses+"/login";
HttpResponseresponse=HttpRequest.post(url)
.form("userName",username)
.form("password",password)
.execute();
Listcookies=response.getCookies();
OptionalcookieOpt=cookies.stream()
.filter(cookie->cookie.getName().equals("XXL_JOB_LOGIN_IDENTITY")).findFirst();
if(!cookieOpt.isPresent())
thrownewRuntimeException("getxxl-jobcookieerror!");

Stringvalue=cookieOpt.get().getValue();
loginCookie.put("XXL_JOB_LOGIN_IDENTITY",value);
}

其他接口在調用時,直接從緩存中獲取cookie,如果緩存中不存在則調用/login接口,為了避免這一過程失敗,允許最多重試3次。

publicStringgetCookie(){
for(inti=0;i

執行器接口

創建一個JobGroupService,根據appName和執行器名稱title查詢執行器列表:

publicListgetJobGroup(){
Stringurl=adminAddresses+"/jobgroup/pageList";
HttpResponseresponse=HttpRequest.post(url)
.form("appname",appName)
.form("title",title)
.cookie(jobLoginService.getCookie())
.execute();

Stringbody=response.body();
JSONArrayarray=JSONUtil.parse(body).getByPath("data",JSONArray.class);
Listlist=array.stream()
.map(o->JSONUtil.toBean((JSONObject)o,XxlJobGroup.class))
.collect(Collectors.toList());
returnlist;
}

我們在后面要根據配置文件中的appName和title判斷當前執行器是否已經被注冊到調度中心過,如果已經注冊過那么則跳過,而/jobgroup/pageList接口是一個模糊查詢接口,所以在查詢列表的結果列表中,還需要再進行一次精確匹配。

publicbooleanpreciselyCheck(){
ListjobGroup=getJobGroup();
Optionalhas=jobGroup.stream()
.filter(xxlJobGroup->xxlJobGroup.getAppname().equals(appName)
&&xxlJobGroup.getTitle().equals(title))
.findAny();
returnhas.isPresent();
}

注冊新executor到調度中心:

publicbooleanautoRegisterGroup(){
Stringurl=adminAddresses+"/jobgroup/save";
HttpResponseresponse=HttpRequest.post(url)
.form("appname",appName)
.form("title",title)
.cookie(jobLoginService.getCookie())
.execute();
Objectcode=JSONUtil.parse(response.body()).getByPath("code");
returncode.equals(200);
}

任務接口

創建一個JobInfoService,根據執行器id,jobHandler名稱查詢任務列表,和上面一樣,也是模糊查詢:

publicListgetJobInfo(IntegerjobGroupId,StringexecutorHandler){
Stringurl=adminAddresses+"/jobinfo/pageList";
HttpResponseresponse=HttpRequest.post(url)
.form("jobGroup",jobGroupId)
.form("executorHandler",executorHandler)
.form("triggerStatus",-1)
.cookie(jobLoginService.getCookie())
.execute();

Stringbody=response.body();
JSONArrayarray=JSONUtil.parse(body).getByPath("data",JSONArray.class);
Listlist=array.stream()
.map(o->JSONUtil.toBean((JSONObject)o,XxlJobInfo.class))
.collect(Collectors.toList());

returnlist;
}

注冊一個新任務,最終返回創建的新任務的id:

publicIntegeraddJobInfo(XxlJobInfoxxlJobInfo){
Stringurl=adminAddresses+"/jobinfo/add";
MapparamMap=BeanUtil.beanToMap(xxlJobInfo);
HttpResponseresponse=HttpRequest.post(url)
.form(paramMap)
.cookie(jobLoginService.getCookie())
.execute();

JSONjson=JSONUtil.parse(response.body());
Objectcode=json.getByPath("code");
if(code.equals(200)){
returnConvert.toInt(json.getByPath("content"));
}
thrownewRuntimeException("addjobInfoerror!");
}

2、創建新注解

在創建任務時,必填字段除了執行器和jobHandler之外,還有任務描述負責人Cron表達式調度類型運行模式 。在這里,我們默認調度類型為CRON、運行模式為BEAN,另外的3個字段的信息需要用戶指定。

因此我們需要創建一個新注解@XxlRegister,來配合原生的@XxlJob注解進行使用,填寫這幾個字段的信息:

@Target({ElementType.METHOD})
@Retention(RetentionPolicy.RUNTIME)
public@interfaceXxlRegister{
Stringcron();
StringjobDesc()default"defaultjobDesc";
Stringauthor()default"defaultAuthor";
inttriggerStatus()default0;
}

最后,額外添加了一個triggerStatus屬性,表示任務的默認調度狀態,0為停止狀態,1為運行狀態。

3、自動注冊核心

基本準備工作做完后,下面實現自動注冊執行器和jobHandler的核心代碼。核心類實現ApplicationListener接口,在接收到ApplicationReadyEvent事件后開始執行自動注冊邏輯。

@Component
publicclassXxlJobAutoRegisterimplementsApplicationListener,
ApplicationContextAware{
privatestaticfinalLoglog=LogFactory.get();
privateApplicationContextapplicationContext;
@Autowired
privateJobGroupServicejobGroupService;
@Autowired
privateJobInfoServicejobInfoService;

@Override
publicvoidsetApplicationContext(ApplicationContextapplicationContext)throwsBeansException{
this.applicationContext=applicationContext;
}

@Override
publicvoidonApplicationEvent(ApplicationReadyEventevent){
addJobGroup();//注冊執行器
addJobInfo();//注冊任務
}
}

自動注冊執行器的代碼非常簡單,根據配置文件中的appName和title精確匹配查看調度中心是否已有執行器被注冊過了,如果存在則跳過,不存在則新注冊一個:

privatevoidaddJobGroup(){
if(jobGroupService.preciselyCheck())
return;

if(jobGroupService.autoRegisterGroup())
log.info("autoregisterxxl-jobgroupsuccess!");
}

自動注冊任務的邏輯則相對復雜一些,需要完成:

通過applicationContext拿到spring容器中的所有bean,再拿到這些bean中所有添加了@XxlJob注解的方法

對上面獲取到的方法進行檢查,是否添加了我們自定義的@XxlRegister注解,如果沒有則跳過,不進行自動注冊

對同時添加了@XxlJob和@XxlRegister的方法,通過執行器id和jobHandler的值判斷是否已經在調度中心注冊過了,如果已存在則跳過

對于滿足注解條件且沒有注冊過的jobHandler,調用接口注冊到調度中心

具體代碼如下:

privatevoidaddJobInfo(){
ListjobGroups=jobGroupService.getJobGroup();
XxlJobGroupxxlJobGroup=jobGroups.get(0);

String[]beanDefinitionNames=applicationContext.getBeanNamesForType(Object.class,false,true);
for(StringbeanDefinitionName:beanDefinitionNames){
Objectbean=applicationContext.getBean(beanDefinitionName);

MapannotatedMethods=MethodIntrospector.selectMethods(bean.getClass(),
newMethodIntrospector.MetadataLookup(){
@Override
publicXxlJobinspect(Methodmethod){
returnAnnotatedElementUtils.findMergedAnnotation(method,XxlJob.class);
}
});
for(Map.EntrymethodXxlJobEntry:annotatedMethods.entrySet()){
MethodexecuteMethod=methodXxlJobEntry.getKey();
XxlJobxxlJob=methodXxlJobEntry.getValue();

//自動注冊
if(executeMethod.isAnnotationPresent(XxlRegister.class)){
XxlRegisterxxlRegister=executeMethod.getAnnotation(XxlRegister.class);
ListjobInfo=jobInfoService.getJobInfo(xxlJobGroup.getId(),xxlJob.value());
if(!jobInfo.isEmpty()){
//因為是模糊查詢,需要再判斷一次
Optionalfirst=jobInfo.stream()
.filter(xxlJobInfo->xxlJobInfo.getExecutorHandler().equals(xxlJob.value()))
.findFirst();
if(first.isPresent())
continue;
}

XxlJobInfoxxlJobInfo=createXxlJobInfo(xxlJobGroup,xxlJob,xxlRegister);
IntegerjobInfoId=jobInfoService.addJobInfo(xxlJobInfo);
}
}
}
}

4、自動裝配

創建一個配置類,用于掃描bean:

@Configuration
@ComponentScan(basePackages="com.xxl.job.plus.executor")
publicclassXxlJobPlusConfig{
}

將它添加到META-INF/spring.factories文件:

org.springframework.boot.autoconfigure.EnableAutoConfiguration=
com.xxl.job.plus.executor.config.XxlJobPlusConfig

到這里starter的編寫就完成了,可以通過maven發布jar包到本地或者私服:

mvncleaninstall/deploy

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能

項目地址:https://github.com/YunaiV/yudao-cloud

視頻教程:https://doc.iocoder.cn/video/

測試

新建一個springboot項目,引入我們在上面打好的包:


com.cn.hydra
xxljob-autoregister-spring-boot-starter
0.0.1

在application.properties中配置xxl-job的信息,首先是原生的配置內容:

xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
xxl.job.accessToken=default_token
xxl.job.executor.appname=xxl-job-executor-test
xxl.job.executor.address=
xxl.job.executor.ip=127.0.0.1
xxl.job.executor.port=9999
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
xxl.job.executor.logretentiondays=30

此外還要額外添加我們自己的starter要求的新配置內容:

#admin用戶名
xxl.job.admin.username=admin
#admin密碼
xxl.job.admin.password=123456
#執行器名稱
xxl.job.executor.title=test-title

完成后在代碼中配置一下XxlJobSpringExecutor,然后在測試接口上添加原生@XxlJob注解和我們自定義的@XxlRegister注解:

@XxlJob(value="testJob")
@XxlRegister(cron="000**?*",
author="hydra",
jobDesc="測試job")
publicvoidtestJob(){
System.out.println("#碼農參上");
}


@XxlJob(value="testJob222")
@XxlRegister(cron="591-20**?",
triggerStatus=1)
publicvoidtestJob2(){
System.out.println("#作者:Hydra");
}

@XxlJob(value="testJob444")
@XxlRegister(cron="595923**?")
publicvoidtestJob4(){
System.out.println("helloxxljob");
}

啟動項目,可以看到執行器自動注冊成功:

cf9c5fa2-9ed1-11ed-bfe3-dac502259ad0.png

再打開調度中心的任務管理頁面,可以看到同時添加了兩個注解的任務也已經自動完成了注冊:

cfa28cd8-9ed1-11ed-bfe3-dac502259ad0.png

從頁面上手動執行任務進行測試,可以執行成功:

cfab0962-9ed1-11ed-bfe3-dac502259ad0.png

到這里,starter的編寫和測試過程就算基本完成了,項目中引入后,以后也能省出更多的時間來摸魚學習了~







審核編輯:劉清

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • Micron
    +關注

    關注

    0

    文章

    29

    瀏覽量

    56092
  • 執行器
    +關注

    關注

    5

    文章

    375

    瀏覽量

    19320
  • RBAC
    +關注

    關注

    0

    文章

    44

    瀏覽量

    9944

原文標題:魔改xxl-job,徹底告別手動配置任務!

文章出處:【微信號:芋道源碼,微信公眾號:芋道源碼】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    簡單的任務調度代碼

    通過定時器節拍控制任務執行周期,此代碼的中斷函數時AVR的簡單的任務調度.rar (2.4 KB )
    發表于 06-12 04:35

    Linux系統定時任務Crond

    會定期(默認每分鐘檢查一次)檢查系統中是否有要執行的任務工作,如果有,便會根據其預先設定的定時任務規則自動執行該定時任務工作,這個crond定時任務服務就相當于我們平時早起使用的鬧鐘一
    發表于 07-05 06:22

    運行調度中心后訪問出現500錯誤怎么解決

    XXL-Job 訪問調度中心出現 500 應用程序異常
    發表于 11-08 09:39

    關于XXL-JOB定時調度器的使用總結

    XXL-JOB 定時調度器 使用小結
    發表于 04-23 14:53

    UCOSIII的任務管理與任務調度和切換簡述

    就緒表7、任務調度和切換1、任務調度時間片輪轉調度2、任務切換8、UCOSIII的
    發表于 02-18 06:14

    DVS系統硬實時周期任務動態調度算法

    與實時任務的可調度分析不同,實時DVS調度在保證任務截止時間限制同時,還要關注任務執行的處理器功耗。功耗研究一段時間的累積效果,傳統基于最壞
    發表于 12-16 23:55 ?12次下載

    OPC 實時任務系統動態調度算法的研究與設計The Stud

    本文基于已有的OPC Server 實時任務模型,設計了處理混合任務集的動態調度算法(基于截止期優先)和實現方式。該算法實現了對混合任集可調度性的判斷,可以完成有硬實時性要
    發表于 05-31 15:36 ?13次下載

    時任務雙容錯調度算法

    云環境中的處理機故障已成為云計算不可忽視的問題,容錯成為設計和發展云計算系統的關鍵需求。針對一些容錯調度算法在任務調度過程中調度效率低下以及任務
    發表于 01-14 11:26 ?0次下載

    移動終端最優節能任務調度

    討論在移動終端設備下硬實時任務調度的原理、機制、策略。在硬實時任務對時效性的要求與現時任務對能耗管理的要求這2個約束條件下對任務進行
    發表于 02-07 16:30 ?1次下載

    Python定時任務的實現方式

    調度模塊schedule實現定時任務 利用任務框架APScheduler實現定時任務 Job 作業 Trigger 觸發器 Executor
    的頭像 發表于 10-08 15:20 ?5702次閱讀

    什么是定時任務 xxl-job架構設計方案

    同一個執行器集群內AppName(xxl.job.executor.appname)需要保持一致;調度中心根據該配置動態發現不同集群的在線執行器列表。
    發表于 11-14 12:44 ?1354次閱讀

    xxl-job驚艷的設計,怎能叫人不愛

    xxl-job 定義了兩個接口 ExecutorBiz,AdminBiz,ExecutorBiz 接口中封裝了向心跳,暫停,觸發執行等操作,AdminBiz 封裝了回調,注冊,取消注冊操作,接口的實現類中,并沒有通信相關的處理。
    的頭像 發表于 12-22 14:43 ?729次閱讀

    SpringBoot-動態定時任務調度

    先說業務場景,根據用戶輸入的cron表達式進行定時調度,舉個例子:如圖
    的頭像 發表于 04-07 14:56 ?806次閱讀
    SpringBoot-動態<b class='flag-5'>定時任務</b><b class='flag-5'>調度</b>

    分布式定時調度xxl-job最佳實踐方法

    定時任務是按照指定時間周期運行任務。使用場景為在某個固定時間點執行,或者周期性的去執行某個任務,比如:每天晚上24點做數據匯總,
    的頭像 發表于 11-30 11:06 ?1495次閱讀
    分布式<b class='flag-5'>定時調度</b>:<b class='flag-5'>xxl-job</b>最佳實踐方法

    華玉通軟宣布“海鷗”確定性調度中間件(SEAGULL DS)正式商用

    今天,華玉通軟(下稱“華玉”)宣布“海鷗”確定性調度中間件(SEAGULL DS)正式商用。
    的頭像 發表于 03-17 11:01 ?614次閱讀
    華玉通軟宣布“海鷗”確定性<b class='flag-5'>調度</b><b class='flag-5'>中間件</b>(SEAGULL DS)正式商用