Python定时库APScheduler原理及用法

1. APScheduler简介

APscheduler全称Advanced Python Scheduler

作用为在指定的时间规则执行指定的任务，指定的任务就是一个Python函数。

2. APScheduler组件

核心组件有4个：Job、JobStore、Trigger、Executor
除了以下组件，还有Event 事件、 Listener 监听事件、 Scheduler 调度器

但需要自己操作的，只有

  • Job：也就是自定义的函数
  • JobStore：存储任务的方式，默认是存在内存，可以选择存储在数据库里，例如：redis

Job 作业

作用

Job作为APScheduler最小执行单位。
创建Job时指定执行的函数，函数中所需参数，Job执行时的一些设置信息。

构建说明

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
id：指定作业的唯一ID

name：指定作业的名字

trigger：apscheduler定义的触发器，用于确定Job的执行时间，根据设置的trigger规则，计算得到下次执行此job的
时间， 满足时将会执行

executor：apscheduler定义的执行器，job创建时设置执行器的名字，根据字符串你名字到scheduler获取到执行此
job的 执行器，执行job指定的函数

max_instances：执行此job的最大实例数，executor执行job时，根据job的id来计算执行次数，根据设置的最大实例数
来确定是否可执行

next_run_time：Job下次的执行时间，创建Job时可以指定一个时间[datetime],不指定的话则默认根据trigger获取触
发时间

misfire_grace_time：Job的延迟执行时间，例如Job的计划执行时间是21:00:00，但因服务重启或其他原因导致
21:00:31才执行，如果设置此key为40,则该job会继续执行，否则将会丢弃此job

coalesce：Job是否合并执行，是一个bool值。例如scheduler停止20s后重启启动，而job的触发器设置为5s执行
一次，因此此job错过了4个执行时间，如果设置为是，则会合并到一次执行，否则会逐个执行

func：Job执行的函数

args：Job执行函数需要的位置参数

kwargs：Job执行函数需要的关键字参数

Jobstore 作业存储

Jobstore在scheduler中初始化，另外也可通过scheduler的add_jobstore动态添加Jobstore。每个jobstore
都会绑定一个alias，scheduler在Add Job时，根据指定的jobstore在scheduler中找到相应的jobstore，并
将job添加到jobstore中。

Jobstore主要是通过pickle库的loads和dumps【实现核心是通过python的__getstate__和__setstate__重写
实现】，每次变更时将Job动态保存到存储中，使用时再动态的加载出来，作为存储的可以是redis，也可以
是数据库【通过sqlarchemy这个库集成多种数据库】，也可以是mongodb等

目前APScheduler支持的Jobstore：

1
2
3
4
5
6
MemoryJobStore
MongoDBJobStore
RedisJobStore
RethinkDBJobStore
SQLAlchemyJobStore
ZooKeeperJobStore

Trigger 触发器

Trigger绑定到Job，在scheduler调度筛选Job时，根据触发器的规则计算出Job的触发时间，然后与当前时间比较
确定此Job是否会被执行，总之就是根据trigger规则计算出下一个执行时间。

Trigger有多种种类，指定时间的DateTrigger，指定间隔时间的IntervalTrigger，像Linux的crontab
一样的CronTrigger

目前APScheduler支持的触发器：

1
2
3
DateTrigger
IntervalTrigger
CronTrigger

Executor 执行器

Executor在scheduler中初始化，另外也可通过scheduler的add_executor动态添加Executor。
每个executor都会绑定一个alias，这个作为唯一标识绑定到Job，在实际执行时会根据Job绑定的executor
找到实际的执行器对象，然后根据执行器对象执行Job

Executor的种类会根据不同的调度来选择，如果选择AsyncIO作为调度的库，那么选择AsyncIOExecutor，如果
选择tornado作为调度的库，选择TornadoExecutor，如果选择启动进程作为调度，
选择ThreadPoolExecutor或者ProcessPoolExecutor都可以

Executor的选择需要根据实际的scheduler来选择不同的执行器

目前APScheduler支持的Executor：

1
2
3
4
5
6
AsyncIOExecutor
GeventExecutor
ThreadPoolExecutor
ProcessPoolExecutor
TornadoExecutor
TwistedExecutor

3. Scheduler工作流程图

4.代码演示

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
# -*- coding: utf-8 -*-
# File Name: interval.py

from datetime import datetime
import os

from apscheduler.jobstores.redis import RedisJobStore
from apscheduler.schedulers.blocking import BlockingScheduler


def tick():
    print('Tick! The time is: %s' % datetime.now())


if __name__ == '__main__':
    REDIS = {
        'host': '127.0.0.1',
        'port': '6379',
        'db': 14,
        'password': 'Hx$hfcmsrx3'
    }
    SCHEDULER_JOBSTORES = {
        'redis': RedisJobStore(**REDIS)
    }
    scheduler = BlockingScheduler(jobstores=SCHEDULER_JOBSTORES)
    scheduler.add_job(tick, 'interval', jobstore='redis', seconds=5)
    print('Press Ctrl+{0} to exit'.format('Break' if os.name == 'nt' else 'C    '))

    try:
        scheduler.start()
    except (KeyboardInterrupt, SystemExit):
        pass

5. 参考链接

Python定时库APScheduler原理及用法 - 知乎 (zhihu.com)

展开全文 >>

近期项目知识点整理

Redis

数据类型

Redis支持五种数据类型：

类型 特点 命令 场景
string（字符串） 最基本的类型
二进制安全，可以包含任何数据
最大能存储512MB		 set
get
hash（哈希） 适合于存储对象 hset
hmset		 存储、读取、修改用户属性
list（列表） 双向链表 lpush
 1,最新消息排行等功能(比如朋友圈的时间线)
2,消息队列
set（集合） 无序、不重复 sadd
sinter：交集
 1、共同好友
2、利用唯一性,统计访问网站的所有独立ip
3、好友推荐时,根据tag求交集,大于某个阈值就可以推荐
zset(sorted set：有序集合) 有序，不重复
每个元素对应一个double类型的分数，分数可以重复		 zadd
zincrby		 1、排行榜
2、带权重的消息队列

参考链接

Supervisor

参考链接

Celery

协程和异步

原理和实现

不是计算机提供的，是人为创造的，通过一个线程实现代码块之间的切换执行。

1
2
3
4
5
#实现协程的几种方式
greenlet
yield
asyncio - 3.4：遇到io阻塞会自动切换
async&await关键字：3.5

协程的意义

基于协程实现的编程，叫做异步编程。

阻塞

进程运行的三个状态：运行、就绪、阻塞

阻塞：程序运行时，遇到了IO，程序挂起，CPU被切走

非阻塞：程序没有遇到IO；或者程序遇到IO，但是我通过某种手段，让CPU强行运行我的程序。

参考链接

装饰器

python中@classmethod @staticmethod区别

  • @staticmethod 不需要访问和类相关的属性或数据(感觉只是概念上的区别，你这样声明了用的人就知道了，如果你非要在这个方法中访问test.xxx 它就和@classmethod的作用一样了。）
  • @classmethod 可以访问和类相关（不和实例相关)的属性，

APScheduler

APScheduler是基于Quartz的一个Python定时任务框架。提供了基于日期、固定时间间隔以及crontab类型的任务，并且可以持久化任务。在线文档：https://apscheduler.readthedocs.io/en/latest/userguide.html

参看链接

Flask

请求钩子

中间层

上下文

https://www.bilibili.com/video/BV1L64y1C7ce?p=5

  • 请求上下文
    • request
    • session
  • 应用上下文
    • current_app
      • 伴随request产生和消灭
    • g对象
      • 在方法之间传递参数
      • 本次请求之内有效
  • 上下文实现的原理
    • Threadlocal：线程局部变量

展开全文 >>

Hexo的安装和配置

问题解决

  • hexo文章中插入方便管理的图片文件夹

    在/source/_post文件夹的同级目录下，创建images文件夹。在其中创建文章的同名文件夹，在文章中引入即可，例如：’![](/images/nginx-config/img_name.png)’

  • hexo改变根目录，搭配nginx配置特定的端口

在_config.yml文件中，修改root：属性

more >>

展开全文 >>

近日待办事项

2022-4-29

  • 设计模式
  • sql语法
  • flask
  • 腾讯云认证

2022-4-6

  • pandas
  • 腾讯云认证

2022-2-14

  • git：熟练操作

2022-2-9

  • apscheduler：理清原理

2022-2-8

  • Hyper-V设置固态IP
  • Hyper-V设置端口映射
    • netsh interface portproxy add v4tov4 listenport=外网端口 listenaddress=主IP connectaddress=私网IP connectport=私网IP端口

2022-2-7

  • Hyper-V设置固态IP

2022-1-27

2022-1-26

2022-1-25

2022-1-24

展开全文 >>

本站总访问量次

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

编程博主，全网粉丝30w+，开源项目：python-office，我的微信：CoderWanFeng