当前位置：首页 > news >正文

【XXL-JOB】分布式任务调度平台

news 2026/4/24 21:20:56

概述

XXL-JOB是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。
https://www.xuxueli.com/xxl-job/

传统定时任务框架存在的问题

1、业务逻辑与定时任务逻辑放入在同一个Jar包中，如果定时任务逻辑挂了也会影响到业务逻辑；
2、如果服务器集群的情况下，可能存在定时任务逻辑会重复触发执行；
3、当任务量很大的时候，传统任务调度不支持任务拆分，无法快速执行完毕；
4、定时任务非常占用服务器的内存，不管用什么框架，底层肯定是一个while死循环。

XXL-JOB框架目录结构说明

-** xxl-job-admin：调度中心** -需要独立部署
-** xxl-job-core：公共依赖**
-** xxl-job-executor-samples：执行器Sample示例** -案例Demo
-** doc：依赖的sql文件**

核心模块：
**调度中心模块：**统一管理调度任务，自身不承担业务逻辑，同时提供了“日志、告警、注册中心”等功能。- 控制执行器执行定时任务
**执行器模块：**负责接收调度中心的请求，进行定时任务逻辑执行。 - 执行定时任务

XXL-JOB环境搭建

服务环境

Maven3+
Jdk1.8+
Mysql5.7+

搭建xxl-job-admin调度中心

作用：通过可视化界面的方式，控制执行器执行定时任务，和监控等功能。

1、下载xxl-admin源码 https://www.xuxueli.com/xxl-job/，并导入IDEA编辑器；

2、将xxl-job-admin依赖的**表结构导入到Mysql**中；
sql文件在xxl-job-master\xxl-job-master\doc\db\目录下。

3、启动**调度中心 xxl-job-admin**项目；
访问 http://localhost:8080/xxl-job-admin 默认账号：admin 密码：123456

演示自带的执行器xxl-job-executor-sample-springboot

SpringBoot整合XXL-JOB执行器

引入pom依赖

<dependencyManagement> <dependencies> <dependency> <!-- Import dependency management from Spring Boot (依赖管理：继承一些默认的依赖，工程需要依赖的jar包的管理，申明其他dependency的时候就不需要version) --> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.6.7</version> <type>pom</type> <scope>import</scope> </dependency> </dependencies> </dependencyManagement> <dependencies> <!-- spring-boot-starter-web (spring-webmvc + tomcat) --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> <!-- xxl-job-core --> <dependency> <groupId>com.xuxueli</groupId> <artifactId>xxl-job-core</artifactId> <version>2.4.0-SNAPSHOT</version> </dependency> </dependencies>

创建application.propertis

1、将xxl-job-executor-sample-springboot模块下的application.propertis文件
和logback.xml文件copy到自己的resources目录下。
注意：需要修改application.propertis的【xxl.job.executor.port】执行器端口参数、【xxl.job.executor.appname】执行器名称参数，这两个参数不能和其它执行器服务的一样。

添加XxlJobConfig配置类

/** * xxl-job config * * @author xuxueli 2017-04-28 */ @Configuration public class XxlJobConfig { private Logger logger = LoggerFactory.getLogger(XxlJobConfig.class); @Value("${xxl.job.admin.addresses}") private String adminAddresses; @Value("${xxl.job.accessToken}") private String accessToken; @Value("${xxl.job.executor.appname}") private String appname; @Value("${xxl.job.executor.address}") private String address; @Value("${xxl.job.executor.ip}") private String ip; @Value("${xxl.job.executor.port}") private int port; @Value("${xxl.job.executor.logpath}") private String logPath; @Value("${xxl.job.executor.logretentiondays}") private int logRetentionDays; @Bean public XxlJobSpringExecutor xxlJobExecutor() { logger.info(">>>>>>>>>>> xxl-job config init."); XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor(); xxlJobSpringExecutor.setAdminAddresses(adminAddresses); xxlJobSpringExecutor.setAppname(appname); xxlJobSpringExecutor.setAddress(address); xxlJobSpringExecutor.setIp(ip); xxlJobSpringExecutor.setPort(port); xxlJobSpringExecutor.setAccessToken(accessToken); xxlJobSpringExecutor.setLogPath(logPath); xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays); return xxlJobSpringExecutor; } }

创建定时任务

/** * 定时任务 */ @Component public class JobHandler { @XxlJob("kexuektJobHandler") public void demoJobHandler() { System.out.println("kexuektJobHandler执行器开始执行"); System.out.println("参数：" + XxlJobHelper.getJobParam()); } }

新增执行器

启动执行器服务前需要先进入 xxl-job-admin的任务调度中心中“新增执行器”，然后该执行器服务才可注册到“xxl-job-admin”。

测试：
1、执行器管理手动添加执行器
2、新增定时任务
3、点击执行一次，查看控制台效果。

XXL-JOB原理解析

执行流程

1、执行器项目启动后会将自己的IP和端口xxl.job.executor.port信息注册到“调度中心的注册中心”
2、调度中心向执行器下发执行任务时，根据注册的执行器名称xxl.job.executor.appname，从注册中心找到所有执行器的IP地址（执行器集群），然后根据策略（轮训、随机等）去调用某一具体的执行器。
3、“执行器”执行任务逻辑，执行结束后将结果通知给“调度中心”成功或失败；

负载均衡策略

负载均衡策略：调度中心让那个执行器来执行任务。

有哪些策略：第一个、最后一个、轮训、随机、分片广播等。

分片广播

如果有100w条消息，如何最快的通知给用户？
需求：（一分钟内处理完，正常情况下处理完100w条消息需要10分钟）

开10台服务器（10个执行器），每个执行器分别处理10w条消息。

通过分页解决：
第一台服务器执行1-10w条
第一台服务器执行10w-20w条

问题：10台服务怎么知道自己从那条开始执行？

答：通过分片广播策略。
int shardIndex = XxlJobHelper.getShardIndex(); // 0-9
int shardTotal = XxlJobHelper.getShardTotal(); // 10
得到每台服务需要处理多少条消息：100w / shardTotal = 10w
得到分页开始值：(100w / shardTotal) * shardIndex = 0, 10w, 20 w …….
limit(0, 10w) limit(10w, 10w) limit(20w, 10w) ……

模拟1=1w条数据
select * from sys_log limit 0,10;
select * from sys_log limit 10,10;
select * from sys_log limit 20,10;

如何防止定时任务重复执行（幂等性问题）

首先要明白什么情况下会出现重复执行任务？

在集群模式下，有多个jar包存在相同的定时任务，就会导致每个jar包都执行一次定时任务。

传统项目如何解决定时任务重复执行？

1、对我们的jar包加一个开关（配置文件），项目启动的时候读取这个开关，如果为true则执行定时任务，否则就不执行定时任务；
2、通过分布式锁，谁拿到了锁谁就执行。
3、将业务逻辑代码和定时任务逻辑代码完全分开部署，只对业务逻辑实现集群，不对我们的定时任务实现集群；
4、采用分布式任务调度平台框架（XXL-JOB）自带负载均衡策略。