資料庫定時備份linux篇

• 1 序言
• 2 crond 相關知識點
  • 2.1 crond 是什么？
  • 2.2 crontab 進行定時任務設定
    • 2.2.1 crontab 指令選項說明
    • 2.2.2 crontab 指令使用格式
    • 2.2.3 特定時間執行任務例子
    • 2.2.4 crontab 設定步驟
• 3 各個資料庫備份腳本
  • 3.1 Oracle資料庫
  • 3.2 Mysql資料庫
  • 3.3 postgresql資料庫
  • 3.4 mongoDB資料庫
• 4 定時備份資料庫實際操作

1 序言

相信大家都還記得這則新聞吧，歐洲云計算巨頭 OVH 位于法國斯特拉斯堡的機房發生嚴重火災，大火徹底摧毀了五層高、占地 500 平方米的 SBG2 資料中心，

當地報紙稱 115 位消防員投入 6 個小時才將其撲滅，經過長達 6 個小時的持續燃燒，SBG2 內的資料恐怕已經徹底丟失，

大火對歐洲范圍內的眾多網站造成嚴重影響，據 Netcraft 稱，目前跨 464000 個域的多達 360 萬個網站皆已下線，

資料是無價的，所以生產環境中定時備份資料庫顯得尤為重要，備份能防止服務器故障和人為誤操作帶來的資料丟失，

生產環境中linux作業系統也是服務器的首選，所以我們今天就以linux為例，說一說資料庫備份，

具體以什么資料庫為例呢，就以這幾年作業中接觸到的幾種常見資料庫為例吧，

• Oracle
• mysql
• postgresql
• mongoDB

在這里呢也給自己挖一個坑，作業中呢也用到winserver 作為服務器的情況，所以呢后面也整理更新下winserver 環境下資料庫備份，

2 crond 相關知識點

2.1 crond 是什么？

• crond任務調度相當于我們日常生活中的鬧鐘，可以在某個時間點執行特定的命令和程式，
• linux系統自身定期執行的任務作業：例如輪詢系統日志、備份系統資料、清理系統快取、殺毒等等
• 用戶執行的作業任務：用戶通過設定任務調度，定時執行自己添加shell腳本或簡單的指令，例如每隔1分鐘和互聯網上時間服務器同步，每天凌晨1點備份資料庫等等

2.2 crontab 進行定時任務設定

2.2.1 crontab 指令選項說明

語法：

crontab[-e|-l|-r]

-e:編輯crontab 定時任務
-l:查詢crontab定時任務
-r:洗掉當前用戶所有的crontab定時任務

2.2.2 crontab 指令使用格式

crontab用戶的定時任務一般分為6段（空格分隔，系統的定時任務則/etc/crontab分為7段），其中前五段位時間設定段，第六段為所要執行的命令或腳本任務段，

①語法：

* * * * * cmd
①cmd為要執行的命令或腳本，例如/server/scripts/lee.sh
②每個段之間必須要有空格，

② crontab語法格式中時間段的含義表

③ crontab語法格式中特殊符號的含義表

2.2.3 特定時間執行任務例子

① 30 23 * * * cmd    表示每天23:30分執行cmd命令
② 40 22 * * 1 cmd    表示每周一22:40分執行cmd命令
③ 30 0 1-12 * * cmd  表示每月1號和12號 00:30執行cmd命令
④ 30 0 * * 1-5 cmd   表示每周一和周五00:30執行命令
⑤ */10 4 * * * cmd   表示每天4:00每隔10分鐘執行一次cmd命令

2.2.4 crontab 設定步驟

這里我們以每5分鐘同步一次互聯網時間為例進行說明

① 查看crond服務是否啟動

/sbin/service crond status --查看crond服務是否啟動

[root@xiezhr /]# /sbin/service crond status
Redirecting to /bin/systemctl status crond.service
● crond.service - Command Scheduler
   Loaded: loaded (/usr/lib/systemd/system/crond.service; enabled; vendor preset: enabled)
   Active: active (running) since Sun 2021-01-10 21:14:50 CST; 1 months 25 days ago
 Main PID: 990 (crond)
   CGroup: /system.slice/crond.service
           └─990 /usr/sbin/crond -n

Jan 25 14:00:01 xiezhr crond[990]: /usr/sbin/sendmail: error while loading shared librari...ory
Jan 25 14:30:02 xiezhr crond[990]: /usr/sbin/sendmail: error while loading shared librari...ory
Jan 25 15:00:02 xiezhr crond[990]: /usr/sbin/sendmail: error while loading shared librari...ory
Jan 25 15:30:01 xiezhr crond[990]: /usr/sbin/sendmail: error while loading shared librari...ory
Jan 25 16:00:01 xiezhr crond[990]: /usr/sbin/sendmail: error while loading shared librari...ory
Jan 25 16:24:01 xiezhr crond[990]: (*system*) RELOAD (/etc/cron.d/yunjing)
Jan 28 11:18:01 xiezhr crond[990]: (*system*) RELOAD (/etc/cron.d/sgagenttask)
Jan 28 11:18:01 xiezhr crond[990]: (root) RELOAD (/var/spool/cron/root)
Feb 07 12:03:01 xiezhr crond[990]: (*system*) RELOAD (/etc/cron.d/yunjing)
Feb 07 12:03:01 xiezhr crond[990]: (root) RELOAD (/var/spool/cron/root)
Hint: Some lines were ellipsized, use -l to show in full.

如果crond服務沒啟動則執行如下命令啟動crond服務

/sbin/service crond start          啟動服務

查看行程

[root@xiezhr /]# ps -ef|grep crond
root       990     1  0 Jan10 ?        00:00:22 /usr/sbin/crond -n
root     19552 15271  0 16:10 pts/1    00:00:00 grep --color=auto crond

② 撰寫shell腳本

在home路徑下添加如下shell腳本

[root@xiezhr home]# vim /home/my.sh
/usr/sbin/ntpdate time.windows.com >/dev/null 2>&1

③ 給腳本增加執行權限

[root@xiezhr home]# chmod u+x /home/my.sh 

④ 設定定時任務crontab

[root@xiezhr home]# crontab -e
*/5 * * * * /home/my.sh

3 各個資料庫備份腳本

3.1 Oracle資料庫

#!/bin/bash
export ORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1;
export ORACLE_SID=orcl;
export PATH=$ORACLE_HOME/bin:/usr/sbin:$PATH;
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib;
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK
#以上代碼為Oracle資料庫運行賬號oracle的系統環境變數設定，必須添加，否則crontab任務計劃不能執行，

date=date +%Y_%m_%d            #獲取系統當前日期時間
days=7                         #設定洗掉7天之前的備份檔案
orsid=192.168.1.100:1521/orcl  #Oracle資料庫服務器IP、埠、SID
orowner=scott                  #備份此用戶下面的資料
bakuser=system                 #用此用戶來執行備份，必須要有備份操作的權限
bakpass=oracle                 #執行備注的用戶密碼
bakdir=/backup/oracledata      #備份檔案路徑，需要提前創建好
bakdata=https://www.cnblogs.com/xiezhr/archive/2023/05/12/$orowner"_"$date.dmp   #備份資料庫名稱
baklog=$orowner"_"$date.log    #備份執行時候生成的日志檔案名稱
ordatabak=$orowner"_"$date.tar.gz #最后保存的Oracle資料庫備份檔案

cd $bakdir                     #進入備份目錄
mkdir -p $orowner              #按需要備份的Oracle用戶創建目錄
cd $orowner                    #進入目錄
exp $bakuser/$bakpass@$orsid grants=y owner=$orowner file=$bakdir/$orowner/$bakdata log=$bakdir/$orowner/$baklog #執行備份
tar -zcvf $ordatabak $bakdata  $baklog                      #壓縮備份檔案和日志檔案
find $bakdir/$orowner  -type f -name "*.log" -exec rm {} \; #洗掉備份檔案
find $bakdir/$orowner  -type f -name "*.dmp" -exec rm {} \; #洗掉日志檔案
find $bakdir/$orowner  -type f -name "*.tar.gz" -mtime +$days -exec rm -rf {} \;  #洗掉7天前的備份（注意：{} \中間有空格）

以上exp備份，如果要采用expd備份，只需將上面執行陳述句換成下面的即可
expdp $bakuser/$bakpass@$orsid full=y cluster=n directory=$bakdir dumpfile=$bakdir/$orowner/$bakdata logfile=$bakdir/$orowner/$baklog 

3.2 Mysql資料庫

#!/bin/bash
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:/usr/local/mysql/bin
export PATH
dbuser='root'          #資料庫用戶名
dbpasswd='123456'      #資料庫密碼
dbname='test1 test2'   #資料庫名,可以定義多個資料庫，中間以空格隔開，如 test1 test2
backtime=`date +%Y%m%d%H%M%S`    #備份時間
logpath= '/home/mysql/backup'     #日志備份路徑
datapath='/home/mysql/backup'     #資料備份路徑
echo "備份時間為${backtime},備份資料庫表 ${dbname} 開始" >> ${logpath}/mysqllog.log  #日志記錄頭部

#正式備份資料庫
for table in $dbname; do  
source=`mysqldump -u ${dbuser} -p${dbpasswd} ${table}> ${logpath}/${backtime}.sql` 2>> ${logpath}/mysqllog.log;
#備份成功以下操作
if [ "$?" == 0 ];then 
cd $datapath
tar jcf ${table}${backtime}.tar.bz2 ${backtime}.sql > /dev/null   #為節約硬碟空間，將資料庫壓縮
rm -f ${datapath}/${backtime}.sql   #洗掉原始檔案，只留壓縮后檔案
cd $datapath
rm -rf `find . -name '*.sql.gz' -mtime +30` >> ${logpath}/mysqllog.log 2>&1  #洗掉30天前備份檔案
echo "資料庫表 ${dbname} 備份成功!!" >> ${logpath}/mysqllog.log
else
echo “資料庫表 ${dbname} 備份失敗!!” >> ${logpath}/mysqllog.log   #備份失敗則進行以下操作
fi
done

3.3 postgresql資料庫

#!/bin/bash
pg_user ='postgres'
export NLS_DATE_FORMAT='yyyy-mm-dd hh24:mi:ss'
export exp_date=`date '+%Y%m%d'`
pg_dump  -U postgres dbpostgres -f /u01/backup/$exp_date.sql  
gzip -1 /u01/backup/$exp_date.sql       #壓縮備份檔案
find /u01/backup -mtime +14 -exec rm {} \;   #洗掉七天前備份檔案

3.4 mongoDB資料庫

#!/bin/sh
DUMP=/home/webapp/Downloads/mongoDB/mongodbserver/bin/mongodump #mongodump備份檔案執行路徑
OUT_DIR=/home/webapp/backup/mongo_bak/mongod_bak_now #臨時備份目錄
TAR_DIR=/home/webapp/backup/mongo_bak/mongod_bak_list #備份存放路徑
DATE=`date +%Y_%m_%d_%H_%M_%S` #獲取當前系統時間

DB_USER=XXXX#資料庫賬號
DB_PASS=XXXX #資料庫密碼
DB_NAME=TEST #資料庫名稱
IP=xx.xx.xx.xx:27017
DAYS=365 #DAYS=30代表洗掉30天前的備份，即只保留最近30天的備份
TAR_BAK="mongod_bak_$DATE.tar.gz" #最終保存的資料庫備份檔案名
cd $OUT_DIR
rm -rf $OUT_DIR
mkdir -p $OUT_DIR/$DATE
$DUMP -h $IP -u $DB_USER -p $DB_PASS -d $DB_NAME -o $OUT_DIR/$DATE #備份資料庫
tar -zcvf $TAR_DIR/$TAR_BAK $OUT_DIR/$DATE                         #壓縮為.tar.gz格式
find $TAR_DIR/ -mtime +$DAYS -delete                               #洗掉30天前的備份

exit

4 定時備份資料庫實際操作

每天凌晨1點備份以上常見資料庫

① 創建備份腳本

在home路徑下創建backup.sh 并添加以上資料庫備份shell腳本

[root@xiezhr home]#  vim /home/bakcup/backup.sh
# 要備份那個資料庫，就往backup.sh 添加對應的shell腳本即可

③ 給腳本增加執行權限

[root@xiezhr home]# chmod u+x /home/bakcup/backup.sh

③ 設定定時任務crontab

[root@xiezhr home]# crontab -e
0 1 * * * /home/bakcup/backup.sh

本期到此就結束了，下一期我們說一說winserver環境下資料庫備份，

敬請期待哦 (●'?'●)

標籤：其他

上一篇：通過空間占用和執行計劃了解SQL Server的行存盤索引

下一篇：返回列表