本文首發于公眾號:Hunter后端
原文鏈接:celery筆記七之周期/定時任務及crontab定義
periodic task,即為周期,或者定時任務,比如說每天晚上零點零分需要運行一遍某個函式,或者每隔半小時運行一遍該函式,都是這種任務的范疇,
在第一篇筆記的時候我們就介紹過 celery 的組件構成,其中有一個組件叫做 beat,就是我們定時任務的調度器,
所有的定時任務都由 beat 發出,這種情況下,你必須確保在同一個時間點只有一個 beat 任務調度器在運行,假設有兩個 beat 同時在運行,那么在檢測定時任務的時候,系統的任務就可能會被重復發起、呼叫、執行,
- beat_schedule 定義
- beat 啟動
- crontab介紹
1、beat_schedule 定義
我們來定義兩個定時任務,一個是 blog.tasks.add,定義為每隔 30s 執行一次,現在晚上11點45分,我們定義每天11點50分執行一次,
在進行這些操作前,我們還需要對時區有一些設定,因為我們設定的晚上11點是北京時間,而 Django 和 celery 默認是格林威治時間,
時區設定
我們使用 Django 系統,一些配置在 settigns.py 中定義,詳情可以見前幾篇筆記的 celery 與 Django 系統使用,
關于時區,Django 系統和 celery 的時區我們都設定成北京時間:
# settings.py
# django 時區設定
TIME_ZONE = "Asia/Shanghai"
USE_TZ = False
# celery 時區設定
CELERY_TIMEZONE = "Asia/Shanghai"
CELERY_ENABLE_UTC = False
DJANGO_CELERY_BEAT_TZ_AWARE = False
定時任務定義
接下來,我們定義定時任務:
from celery.schedules import crontab
app.conf.beat_schedule = {
'add-every-30-seconds': {
'task': 'blog.tasks.add',
'schedule': 30,
'args': (16, 16),
},
'schedule_test_add': {
'task': 'blog.tasks.minus',
'schedule': crontab(minute="50", hour="23"),
},
}
定時任務的定義是我們通過 app.conf.beat_schedule 來操作,一個任務我們定義一個 name 作為 key
在每個 task 下,分別有以下選項:
task:指向我們定義的任務,比如我們這個是指向 blog application 下 tasks.add 任務
schedule:定時任務的策略,如果直接定義一個整數,比如定義的 add-every-30-seconds task 的這個引數定義為 30,就會每隔30s 執行一次
而如果使用 crontab() 函式,則可以更自由的定義到每個月,每周,每天,每時每秒,在示例中我們定義 minute="50", hour="23" 表示每天 23點50分執行一次
更詳細的策略我們下面再詳細介紹,
args:定時任務的引數,比如 add() 函式,我們每隔 30s 執行一次,給定的兩個引數是 (16, 16),對應 add(x, y) 輸入的兩個值
2、beat 啟動
beat 的啟動方式和 worker 啟動方式一致,將 worker 改成 beat 即可:
celery -A hunter beat -l INFO
也可以指定日志的輸出檔案:
celery -A hunter beat -l INFO --logfile=/Users/hunter/python/celery_log/beat.log
當我們啟動 beat 的時候,會發現啟動的檔案夾下會有一個名為 celerybeat-schedule.db 的檔案,這個是 beat 保存在本地的上一次任務運行的時間的資料,我們也可以指定該檔案的輸出地址:
celery -A hunter beat -l INFO -s /Users/hunter/python/celery_log/celerybeat-schedule
如果我們需要運行定時任務,我們需要額外啟動兩個服務,一個是 beat,一個是 worker
一般來說我們會先啟動 worker,再啟動 beat,這樣 beat 有一些立即發出的任務就可以直接被 worker 接收然后運行,
3、crontab介紹
我們使用 crontab() 函式制定定時任務的時間策略,比如每天運行一次,或者指定周幾運行都可以實作,
如果你之前接觸過 Linux 服務器上的 crontab 服務,那么就不用擔心理解它的使用方式,如果沒有,我們可以看看下面官方檔案對著的介紹,
在 celery 里,crontab 函式通過 from celery.schedules import crontab 引入,在 beat_schedule 的定義里作為 schedule 的值,這個前面給過一個示例,
crontab 接受五個引數:
- minute 表示分鐘,接收整數或者整數串列,范圍在0-59,或者字串表示配置的時間模式
- hour 表示小時,接收整數或者整數串列,范圍在0-23,或者接收字串表示配置的時間模式
- day_of_week 表示周幾,接收整數或者整數串列,范圍在0-6,其中周日是0,周六是6,或者接收字串表示配置的時間模式
- day_of_month 表示一個月的第幾天,接收整數或者整數串列,范圍在1-31,或者接收字串表示配置的時間模式
- month_of_year 表示一年的第幾個月,接收整數或者整數串列,范圍在1-12,或者接收字串表示配置的時間模式
minute 和 hour
minute 和 hour 直接指向一天的某個時間點,所以,這兩個引數相當于是必填,除非是某些特殊的情況,比如默認的每分鐘執行一次:
crontab()
上面的命令,什么引數也不傳,表示的是每隔一分鐘執行一次
如果我們想指定特定的時間點,比如每天晚上11點23分執行一次:
crontab(minute=23, hour=23)
如果我們想指定某一些分鐘,比如分別在 23點11分,23點25分,23點44分鐘分別執行一次,可以如下操作:
crontab(minute="11,25,44", hour=23)
如果是上面這種沒有特殊關系的時間點,我們可以這樣通過逗號分隔連接起來,如果是有特殊關系的,比如說,每隔一分鐘,或者每隔三分鐘,我們可以通過 */n
的方式來連接,
23點之內,每隔三分鐘執行一次函式可以如下操作:
crontab(minute="*/3", hour=23)
這里的每隔 n 分鐘,其實是 n 的倍數,比如說 */3
就是在 0,3,6,9,12... 等這些分鐘數上執行,
還有一種是范圍內的操作方式,比如說,23點的 10-20分鐘內每分鐘執行一次:
crontab(minute="10-20", hour=23)
那么上面的方式合并起來可不可以,比如說在23點的第5分鐘,11分鐘,51分鐘,31-40分鐘,并且每隔兩分鐘執行一次
也可以實作,把上面的方式都添加在一起,就是一個或的操作:
crontab(minute="5,11,51,10-20,*/2", hour=23)
對于分鐘的這些操作,對于小時數是同樣生效的,不過范圍在 0-23 之間,比如說指定0點,5點,8點,16點的零分執行一次,那就是:
crontab(minute=0, hour="0,5,8,16")
如果是每個小時執行一次呢,就是:
crontab(minute=0, hour="*/1")
# 當 n = 1 的時候 1可以省略,即為
crontab(minute=0, hour="*")
hour 的范圍引數和指定的小時點,像 minute 引數一樣,也是可以或操作功能那樣生效的,
day_of_week
day_of_week 引數表示周幾,當我們使用這個引數的時候,minute 和 hour 引數是同樣生效的,這里我們只演示 day_of_week 引數的作用,小時和分鐘我們都定為 0點0分,
當我們不指定這個引數的時候,即為每天,只有指定了這個引數的時候,定義的周幾才會生效,比如我們定義在周一,周三,周五三天的零點執行一次:
crontab(minute=0, hour=0, day_of_week="1,3,5")
這里,周日是0,周一是1,周二是2,依次類推,
day_of_week 的引數還可以使用英文的簡寫,這里不做介紹,因為我個人認為還是直接使用數字方便一點,
另一個需要注意的是,day_of_week 也可以使用 */n
的形式,但是周幾總共只有7個,所以我這里推薦直接用數字寫出來,
day_of_month
表示一個月的第幾天,范圍是1-31,
其使用方法和 minute、hour 使用的方式是一致的,使用范圍和 */n
的形式都可以實作,
比如我們想實作在1號,5號,7號,8號,以及每個偶數日的零點零分執行一次,可以這樣操作:
crontab(minute=0, hour=0, day_of_month="1,5,7,8,*/2")
month_of_year
表示一年的某幾個月,范圍是1-12,
和前面的使用方式一致,如果需要使用,只有12個數字,還是推薦直接定義,
如果想獲取更多后端相關文章,可掃碼關注閱讀:
轉載請註明出處,本文鏈接:https://www.uj5u.com/houduan/555919.html
標籤:其他
下一篇:返回列表