主頁 > 資料庫 > Zookeeper

Zookeeper

2023-06-07 08:19:28 資料庫

zookeeper

ZooKeeper是一個開源的分布式應用程式協調服務

簡單來說可以理解為zookeeper = 檔案系統+監聽通知機制

應用場景:

  1. 集群管理、服務器狀態感知
  2. 分布式應用配置管理
  3. 統一命名服務
  4. 分布式鎖

小總結：

  1. 為客戶提供寫資料功能 資料不大 狀態資訊資料
  2. 為客戶提供讀取據功能
  3. 為用戶提監控通知功能 節點資料的變化 節點的子節點個數

Zookeeper的高度可靠性
是一個分布式的系統,多個節點 并且節點中記錄的資料是完全一致(一致性) , 當某個zk的節點宕機之后不會影響作業，因為Zookeeper的主節點不存在單點故障！Zookeeper的主節點是可以動態選舉出來的！

Zookeeper的選舉機制(奇數臺)

zookeeper的行程在不同的作業模式下，有不同的通信埠（比如選舉時，通過埠3888通信；作為leader或者follower接收客戶端請求時通過埠2181；leader和follower之間通信用2888）
zk集群安裝的時候 會人為的為每臺機器分配一個唯一的id

Leader選舉程序（以3個節點的集群為例）：
? 集群初次啟動時的選舉流程

  1. 第一臺機器(id=1)啟動，發現沒有leader，進入投票模式，投自己，并收到自己投這一票，得1票，不能當選leader（當leader的條件是，集群機器數量過半的票數）
  2. 第2臺機器（id=2）啟動，發現沒有leader，進入投票模式，投自己（因為自己的id>1 收到的另一臺機器的票的id）
  3. 第1臺機器收到2的票，發現集群中有一個比自己id大的機器上線了，重新投票，投id=2
  4. 第2臺收到的得票數為2票，過半數，自己當選，切換模式：Leader模式
  5. 第1臺就發現有Leader存在了，自己切換模式：Follower
  6. 第3臺啟動，發現有Leader，自動進入Follower狀態

如果每個節點是同時啟動的zk 同時選舉自己 ,同時廣播 , 同時獲取別人的廣播,3號機器會當選

? 集群在運行程序中的選舉流程

  1. 在某個時間點上，id=2機器掛了(leader)，別的機器發現沒有leader了，全體進入投票模式
  2. 先投自己，票中會攜帶（自己的id，自己的資料的版本號）
  3. 大家都投資料版本最新的節點做leader，如果有多個節點資料版本一樣，則從中選id最大的那個作為投票目標！

從上述投票機制可以看出：
Zookeeper集群的節點數最好配置為奇數！
Zookeeper集群的節點規模一般在3~5臺就夠！

資料結構

zookeeper資料模型的結構與Unix檔案系統很類似，整體上可看作是一棵樹（也類似linux，hdfs），每一個節點稱作一個ZNode，每一個ZNode默認只能夠存盤1MB的資料(無法存盤海量資料)，每個ZNode都可以通過其路徑唯一標識，

安裝

1.上傳安裝包并解壓
2.修改組態檔

cd /opt/apps/zookeeper-3.4.6/conf
# 將 zoo_sample.cfg的檔案名修改成zoo.cfg
mv  zoo_sample.cfg   zoo.cfg
# 進入到zoo.cfg中修改配置資訊
vi zoo.cfg

# 修改兩個地方：
# 1.資料存盤路徑
dataDir=/opt/apps/zookeeper-3.4.6/zkData
# 2.zk服務地址
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=linux01:2888:3888
server.2=linux02:2888:3888
server.3=linux03:2888:3888

3.在各個節點上，手動創建資料存盤目錄

mkdir -p /opt/apps/zookeeper-3.4.6/zkData

4.在各個節點的資料存盤目錄中，生成一個myid檔案，內容為它的id

# linux01
echo 1 > /opt/apps/zookeeper-3.4.6/zkData/myid
# lunux02
echo 2 > /opt/apps/zookeeper-3.4.6/zkData/myid
# lunux03
echo 3 > /opt/apps/zookeeper-3.4.6/zkData/myid
# 注意：在linux02上，myid里面的值就是2，03上面的值就是3，是依次遞增的

5.分發安裝包

for i in 2 3
do
scp -r zookeeper-3.4.6 linux0$i:$PWD
done

6.啟動zk集群腳本

#!/bin/bash
for i in 1 2 3 
do
ssh linux0${i} "source /etc/profile;/opt/apps/zookeeper-3.4.6/bin/zkServer.sh $1"
done
 
sleep 2
 
if [ $1 == start ]
then
for i in {1..3}
do
ssh doit0${i} "source /etc/profile;/opt/apps/zookeeper-3.4.6/bin/zkServer.sh status "
done
fi

命令列客戶端操作

客戶端啟動連接

bin/zkCli.sh  本地連接
bin/zkCli.sh  -server doit02:2181  連接到指定的服務節點

ls：查看某個路徑下的key

ls /
[doit, zookeeper]

ls2：查看指定目錄下的節點 詳細

ls2 /zookeeper

[quota]
cZxid = 0x0                              該資料節點被創建時的事務id
ctime = Thu Jan 01 08:00:00 CST 1970     該資料節點創建時間
mZxid = 0x0                              該資料節點被修改時最新的事物id
mtime = Thu Jan 01 08:00:00 CST 1970     該資料節點最后修改時間
pZxid = 0x0                              當前節點的父級節點事務ID
cversion = -1                            子節點版本號（子節點修改次數，每修改一次值+1）
dataVersion = 0                          當前節點版本號（可以理解為修改次數，每修改一次值+1）
aclVersion = 0                           當前節點acl版本號（acl節點被修改次數，每修改一次值+1）
ephemeralOwner = 0x0                     臨時節點標示，當前節點如果是臨時節點，則存盤的創建者的會話id（sessionId），如果不是，那么值=0
dataLength = 0                           當前節點資料長度
numChildren = 1                          當前節點子節點個數

Create：創建一個znode

create /aaa ddd

[zk: localhost:2181(CONNECTED) 1] create /doit niubi 
# 創建完成后當get的時候會有如下資訊
[zk: localhost:2181(CONNECTED) 33] get /doit
niubi
cZxid = 0x2000000013
ctime = Fri May 05 22:25:28 CST 2023
mZxid = 0x2000000013
mtime = Fri May 05 22:25:28 CST 2023
pZxid = 0x2000000013
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 0
# 可以看到cversion 子節點的版本號還是0，以及dataVersion資料節點版本也還是0
#由于目前是默認創建的（沒有使用-s -e），所以創建的這個節點是非順序的，沒有順序的，并且是持久化的

#如果想要創建一個臨時節點，可以加上 -e 這個引數

[zk: localhost:2181(CONNECTED) 36] create -e /doit/abc aaa
Created /doit/abc
[zk: localhost:2181(CONNECTED) 37] stat /doit             
cZxid = 0x2000000013
ctime = Fri May 05 22:25:28 CST 2023
mZxid = 0x2000000013
mtime = Fri May 05 22:25:28 CST 2023
pZxid = 0x2000000015
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 1
#用stat命令查看的時候會發現 cversion 變成了1

# 在去查看臨時節點的時候
[zk: localhost:2181(CONNECTED) 38] stat /doit/abc
cZxid = 0x2000000015
ctime = Fri May 05 22:28:29 CST 2023
mZxid = 0x2000000015
mtime = Fri May 05 22:28:29 CST 2023
pZxid = 0x2000000015
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x187ec3969a40000
dataLength = 3
numChildren = 0
#會發現臨時節點和持久化節點的ephemeralOwner 是不一樣的
#那么應該如何洗掉臨時節點呢？只要斷開客戶端的鏈接即可，按住ctrl + c進行退出，然后再查詢一下子節點

#創建順序節點 create -s
[zk: localhost:2181(CONNECTED) 39] create -s /doit/aaa abc
Created /doit/aaa0000000001
[zk: localhost:2181(CONNECTED) 40] create -s /doit/aaa abc
Created /doit/aaa0000000002
[zk: localhost:2181(CONNECTED) 41] create -s /doit/aaa abc
Created /doit/aaa0000000003
[zk: localhost:2181(CONNECTED) 42] create -s /doit/aaa abc
Created /doit/aaa0000000004
[zk: localhost:2181(CONNECTED) 43] create -s /doit/aaa abc
Created /doit/aaa0000000005

#可以看到，用-s創建出來的子節點后面會跟上一個遞增的序號
[zk: localhost:2181(CONNECTED) 44] ls /doit
[aaa0000000004, aaa0000000003, abc, aaa0000000005, aaa0000000002, aaa0000000001]

get:查看一個key的value

get /paopao
niubi
cZxid = 0x2000000003
ctime = Fri May 05 22:10:47 CST 2023
mZxid = 0x2000000005
mtime = Fri May 05 22:12:23 CST 2023
pZxid = 0x2000000003
cversion = 0
dataVersion = 2
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 0

set:給key的value賦值

set /doit paopao
cZxid = 0x2000000013
ctime = Fri May 05 22:25:28 CST 2023
mZxid = 0x200000001b
mtime = Fri May 05 22:38:04 CST 2023
pZxid = 0x200000001a
cversion = 6
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 6

delete:洗掉空節點

delete /paopao
 
# 如果這個節點不是空的，delete是洗掉不了的，只能用rmr洗掉
 
create /paopao aaa
Created /paopao

create /doit/abc  aaa
Created /doit/abc

delete /paopao
Node not empty: /paopao

# rmr：洗掉節點(可以遞回洗掉)
rmr /paopao

事件監聽

zookeeper中對znode的變化描述有3種事件型別：

  1. 節點value變化事件
  2. 節點的子節點變化事件
  3. 節點被創建、被洗掉事件

對應的，客戶端向zk注冊監聽的命令為：

get    /abc watch
ls     /abc watch
ls2    /abc watch
stat   /abc watch

# 第一個客戶端
get /paopao  watch  # 獲取節點資料的時候監控(監控當前節點資料的變化)
# 克隆一個會話 在客戶端修改節點資料的值
set /paopao bbb
# 第一個客戶端會出現如下資訊:
WatchedEvent state:SyncConnected type:NodeDataChanged path:/paopao

# 第一個客戶端
ls /teache  watch
# 克隆一個會話 創建一個客戶端 , 在/teacher節點下創建一個新的節點/洗掉節點下的子節點
create /doit/aaa aaa
Created /doit/aaa
# 第一個客戶端會出現如下資訊:
WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/doit

# 注意：客戶端向zk注冊的事件監聽，只會被通知1次！如果需要持續監聽，則需要反復注冊

java客戶端

添加依賴

<dependencies>
    <dependency>
        <groupId>org.apache.zookeeper</groupId>
        <artifactId>zookeeper</artifactId>
        <version>3.4.9</version>
    </dependency>
</dependencies>

獲取客戶端

import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.ZooKeeper;

import java.io.IOException;
import java.util.List;

public class zkCliDemo {
    public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
        String connectionString = "linux01:2181,linux02:2181,linux03:2181" ;
        // 超時時間  單位毫秒
        int sessionTimeOut = 2000 ;
        // 引數三  監聽  null
        // alt+enter   導包  例外處理
        // 快速回傳值    .var   或者   ctrl+alt+v
        // 獲取操作ZK的java客戶端物件
        ZooKeeper zooKeeper = new ZooKeeper(connectionString, sessionTimeOut, null);
        /**
         * 獲取指定目錄下的所有的子節點
         * 引數一  路徑   一定以/開始
         * 引數二 是否監控
         */
        List<String> list = zooKeeper.getChildren("/", null);
        // 遍歷指定節點下的所有的子節點
        for (String s : list) {
            System.out.println("/節點下的所有的子節點有: /"+s);  // "/"s
        }

        zooKeeper.close();

    }
}

根節點下有哪些子節點：cluster
根節點下有哪些子節點：brokers
根節點下有哪些子節點：zookeeper
根節點下有哪些子節點：admin
根節點下有哪些子節點：isr_change_notification
根節點下有哪些子節點：log_dir_event_notification
根節點下有哪些子節點：controller_epoch
根節點下有哪些子節點：doit
根節點下有哪些子節點：consumers
根節點下有哪些子節點：latest_producer_id_block
根節點下有哪些子節點：config
根節點下有哪些子節點：hbase

創建子節點

import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.ZooDefs;
import org.apache.zookeeper.ZooKeeper;

import java.util.List;

/**
 * 1.獲取到zk的物件
 * 2.呼叫api
 */
public class CreateDemo {
    public static void main(String[] args) throws Exception {

        //創建zk的物件
        ZooKeeper zk = new ZooKeeper("linux01:2181",2000,null);

        //創建一個子目錄，回傳創建的目錄
        /**
         * 引數1：需要創建的節點名稱，注意需要寫絕對路徑
         * 引數2：該節點對應value的值，需要傳二進制陣列
         * 引數3：該節點的權限，訪問控制串列
         * OPEN_ACL_UNSAFE:使用完全開放的ACL，允許客戶端對znode進行讀/寫
         * CREATOR_ALL_ACL：授予節點創建者所有權限，需要注意的是，設定此權限之前，創建者必須已經通了服務器的認證
         * READ_ACL_UNSAFE：僅僅具有讀權限
         *引數四  節點的型別
         *  EPHEMERAL臨時的   session級別的臨時  客戶端斷開以后 節點會被洗掉
         *  EPHEMERA _SEQUENTIAL 臨時有序
         *  PERSISTENT   永久
         *  PERSISTENT_SEQUENTIAL  永久有序
         */
        String s = zk.create("/teacher1", "xiaotao".getBytes(), ZooDefs.Ids.READ_ACL_UNSAFE, CreateMode.PERSISTENT);

        //列印回傳創建的路徑
        System.out.println(s);

        //關閉資源
        zk.close();

    }
}

洗掉子節點

import org.apache.zookeeper.ZooKeeper;

public class DeleteDemo {
    public static void main(String[] args) throws Exception {
        //創建zk的物件
        ZooKeeper zk = new ZooKeeper("linux01:2181",2000,null);

        /**
         * 注意只能洗掉空節點
         * -1代表任何版本，如果是4，那么到這個版本才能刪掉，否則就會報錯
         * Exception in thread "main" org.apache.zookeeper.KeeperException$BadVersionException:
         * KeeperErrorCode = BadVersion for /teacher
         */
        zk.delete("/teacher",4);
        
        //zk.delete("/teacher",-1);
        
        zk.close();
    }
}

遞回洗掉節點

import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.ZooKeeper;

import java.util.List;

/**
 * 遞回洗掉檔案夾
 */
public class RMRDemo {
    public static void main(String[] args) throws Exception {
        //創建zk的物件
        ZooKeeper zk = new ZooKeeper("linux01:2181",2000,null);
        rmr("/teacher",zk);
        zk.close();
    }


    public static void rmr(String path,ZooKeeper zk) throws Exception {
        List<String> children = zk.getChildren(path, null);
        if (children != null && children.size() >0){
            for (String child : children) {
                rmr(path+"/"+child,zk);
                System.out.println("正在洗掉的子節點是："+path+"/"+child);
            }
        }
        zk.delete(path,-1)
    }
}

獲取節點的資料

import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.ZooKeeper;

import java.io.IOException;
import java.util.List;

public class GetDemo {
    public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
        String connectionString = "linux01:2181,linux02:2181,linux03:2181" ;
        // 超時時間  單位毫秒
        int sessionTimeOut = 2000 ;
        // 引數三  監聽  null
        // alt+enter   導包  例外處理
        // 快速回傳值    .var   或者   ctrl+alt+v
        // 獲取操作ZK的java客戶端物件
        ZooKeeper zk = new ZooKeeper(connectionString, sessionTimeOut, null);
        byte[] data = https://www.cnblogs.com/paopaoT/archive/2023/06/06/zk.getData("/a0000000004", null, null);
        String str = new String(data);
        System.out.println(str);
        zk.close();
    }
}

修改節點的資料

import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.data.Stat;

import java.io.IOException;

public class SetDemo {
    public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
        String connectionString = "linux01:2181,linux02:2181,linux03:2181" ;
        int sessionTimeOut = 2000 ;
        ZooKeeper zk = new ZooKeeper(connectionString, sessionTimeOut, null);
        /**
         * 更新節點的資料
         *  引數一  節點
         *  引數二  value的值
         *  引數三 資料版本
         */
        Stat stat = zk.setData("/a", "abc".getBytes(), -1);
        zk.close();
    }
}

監控節點中值得變化

import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;

import java.io.IOException;

/**
 * 監聽節點中值的變化
 */

public class WatcherDemo {
    public static void main(String[] args) throws IOException, InterruptedException, KeeperException {

        //創建zk的物件
        ZooKeeper zk = new ZooKeeper("linux01:2181", 2000, new Watcher() {
            @Override
            public void process(WatchedEvent watchedEvent) {
                System.out.println("就單純的整一個監聽器");
            }
        });

        byte[] data = https://www.cnblogs.com/paopaoT/archive/2023/06/06/zk.getData("/teacher", new Watcher() {
            @Override
            public void process(WatchedEvent watchedEvent) {
                byte[] data = new byte[0];
                try {
                    data = https://www.cnblogs.com/paopaoT/archive/2023/06/06/zk.getData("/teacher", this, null);
                } catch (Exception e) {
                    e.printStackTrace();
                }
                System.out.println(new String(data));
            }
        }, null);

//        System.out.println(new String(data));

        Thread.sleep(Integer.MAX_VALUE);

    }
}

監聽節點中子節點得個數變化

import com.sun.media.jfxmediaimpl.HostUtils;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;

import java.io.IOException;
import java.util.List;

/**
 * 監聽節點中值的變化
 */

public class WatcherDemo1 {
    public static void main(String[] args) throws IOException, InterruptedException, KeeperException {

        //創建zk的物件
        ZooKeeper zk = new ZooKeeper("linux01:2181", 2000, new Watcher() {
            @Override
            public void process(WatchedEvent watchedEvent) {
                System.out.println("就單純的整一個監聽器");
            }
        });

        List<String> list = zk.getChildren("/teacher", new Watcher() {
            @Override
            public void process(WatchedEvent watchedEvent) {
                try {
                    List<String> children = zk.getChildren("/teacher", this);
                    for (String child : children) {
                        System.out.println(new String(zk.getData("/teacher/"+child,null,null)));
                    }
                    System.out.println("===========分隔符===============");
                } catch (Exception e) {
                    e.printStackTrace();
                }
            }
        });

        //遍歷所有的節點
//        System.out.println(list);

        Thread.sleep(Integer.MAX_VALUE);

    }
}

shell客戶端：
[zk: localhost:2181(CONNECTED) 68] create /teacher/a   1
Created /teacher/a
[zk: localhost:2181(CONNECTED) 69] create /teacher/b   2
Created /teacher/b
[zk: localhost:2181(CONNECTED) 70] create /teacher/c   3
Created /teacher/c
[zk: localhost:2181(CONNECTED) 71] 

控制臺：
就單純的整一個監聽器
1
===========分隔符===============
1
2
===========分隔符===============
1
2
3
===========分隔符===============

轉載請註明出處，本文鏈接：https://www.uj5u.com/shujuku/554505.html

標籤：其他

上一篇：常用的 SQL Server 關鍵字及其含義

下一篇：返回列表

標籤雲
其他(160503) Python(38206) JavaScript(25478) Java(18205) C(15237) 區塊鏈(8270) C＃(7972) AI(7469) 爪哇(7425) MySQL(7234) html(6777) 基礎類(6313) sql(6102) 熊猫(6058) PHP(5873) 数组(5741) R(5409) Linux(5347) 反应(5209) 腳本語言(PerlPython)(5129) 非技術區(4971) Android(4585) 数据框(4311) css(4259) 节点.js(4032) C語言(3288) json(3245) 列表(3129) 扑(3119) C++語言(3117) 安卓(2998) 打字稿(2995) VBA(2789) Java相關(2746) 疑難問題(2699) 细绳(2522) 單片機工控(2479) iOS(2434) ASP.NET(2403) MongoDB(2323) 麻木的(2285) 正则表达式(2254) 字典(2211) 循环(2198) 迅速(2185) 擅长(2169) 镖(2155) .NET技术(1983) 功能(1967) HtmlCss(1952) Web開發(1951) C++(1932) python-3.x(1918) 弹簧靴(1913) xml(1889) PostgreSQL(1879) .NETCore(1863) 谷歌表格(1846) Unity3D(1843) for循环(1842)

熱門瀏覽
  • GPU虛擬機創建時間深度優化

    **?桔妹導讀：**GPU虛擬機實體創建速度慢是公有云面臨的普遍問題，由于通常情況下創建虛擬機屬于低頻操作而未引起業界的重視，實際生產中還是存在對GPU實體創建時間有苛刻要求的業務場景。本文將介紹滴滴云在解決該問題時的思路、方法、并展示最終的優化成果。 從公有云服務商那里購買過虛擬主機的資深用戶，一 ......

    uj5u.com 2020-09-10 06:09:13 more
  • 可編程網卡芯片在滴滴云網路的應用實踐

    **?桔妹導讀：**隨著云規模不斷擴大以及業務層面對延遲、帶寬的要求越來越高，采用DPDK 加速網路報文處理的方式在橫向縱向擴展都出現了局限性。可編程芯片成為業界熱點。本文主要講述了可編程網卡芯片在滴滴云網路中的應用實踐，遇到的問題、帶來的收益以及開源社區貢獻。 #1. 資料中心面臨的問題 隨著滴滴 ......

    uj5u.com 2020-09-10 06:10:21 more
  • 滴滴資料通道服務演進之路

    **?桔妹導讀：**滴滴資料通道引擎承載著全公司的資料同步，為下游實時和離線場景提供了必不可少的源資料。隨著任務量的不斷增加，資料通道的整體架構也隨之發生改變。本文介紹了滴滴資料通道的發展歷程，遇到的問題以及今后的規劃。 #1. 背景 資料，對于任何一家互聯網公司來說都是非常重要的資產，公司的大資料 ......

    uj5u.com 2020-09-10 06:11:05 more
  • 滴滴AI Labs斬獲國際機器翻譯大賽中譯英方向世界第三

    **桔妹導讀：**深耕人工智能領域，致力于探索AI讓出行更美好的滴滴AI Labs再次斬獲國際大獎，這次獲獎的專案是什么呢？一起來看看詳細報道吧！ 近日，由國際計算語言學協會ACL（The Association for Computational Linguistics）舉辦的世界最具影響力的機器 ......

    uj5u.com 2020-09-10 06:11:29 more
  • MPP (Massively Parallel Processing)大規模并行處理

    1、什么是mpp？ MPP (Massively Parallel Processing)，即大規模并行處理，在資料庫非共享集群中，每個節點都有獨立的磁盤存盤系統和記憶體系統，業務資料根據資料庫模型和應用特點劃分到各個節點上，每臺資料節點通過專用網路或者商業通用網路互相連接，彼此協同計算，作為整體提供 ......

    uj5u.com 2020-09-10 06:11:41 more
  • 滴滴資料倉庫指標體系建設實踐

    **桔妹導讀：**指標體系是什么？如何使用OSM模型和AARRR模型搭建指標體系？如何統一流程、規范化、工具化管理指標體系？本文會對建設的方法論結合滴滴資料指標體系建設實踐進行解答分析。 #1. 什么是指標體系 ##1.1 指標體系定義 指標體系是將零散單點的具有相互聯系的指標，系統化的組織起來，通 ......

    uj5u.com 2020-09-10 06:12:52 more
  • 單表千萬行資料庫 LIKE 搜索優化手記

    我們經常在資料庫中使用 LIKE 運算子來完成對資料的模糊搜索，LIKE 運算子用于在 WHERE 子句中搜索列中的指定模式。 如果需要查找客戶表中所有姓氏是“張”的資料，可以使用下面的 SQL 陳述句： SELECT * FROM Customer WHERE Name LIKE '張%' 如果需要 ......

    uj5u.com 2020-09-10 06:13:25 more
  • 滴滴Ceph分布式存盤系統優化之鎖優化

    **桔妹導讀：**Ceph是國際知名的開源分布式存盤系統，在工業界和學術界都有著重要的影響。Ceph的架構和演算法設計發表在國際系統領域頂級會議OSDI、SOSP、SC等上。Ceph社區得到Red Hat、SUSE、Intel等大公司的大力支持。Ceph是國際云計算領域應用最廣泛的開源分布式存盤系統， ......

    uj5u.com 2020-09-10 06:14:51 more
  • es~通過ElasticsearchTemplate進行聚合~嵌套聚合

    之前寫過《es~通過ElasticsearchTemplate進行聚合操作》的文章，這一次主要寫一個嵌套的聚合，例如先對sex集合，再對desc聚合，最后再對age求和，共三層嵌套。 Aggregations的部分特性類似于SQL語言中的group by，avg，sum等函式,Aggregation ......

    uj5u.com 2020-09-10 06:14:59 more
  • 爬蟲日志監控 -- Elastc Stack（ELK）部署

    傻瓜式部署，只需替換IP與用戶 導讀： 現ELK四大組件分別為：Elasticsearch（核心）、logstash（處理）、filebeat（采集）、kibana（可視化） 下載均在https://www.elastic.co/cn/downloads/下tar包，各組件版本最好一致，配合fdm會 ......

    uj5u.com 2020-09-10 06:15:05 more
最新发布
  • Zookeeper

    # zookeeper ZooKeeper是一個開源的分布式應用程式協調服務 簡單來說可以理解為zookeeper = 檔案系統+監聽通知機制 應用場景: 1. 集群管理、服務器狀態感知 2. 分布式應用配置管理 3. 統一命名服務 4. 分布式鎖 > 小總結： >1. 為客戶提供寫資料功能 資料不 ......

    uj5u.com 2023-06-07 08:19:28 more
  • 常用的 SQL Server 關鍵字及其含義

    SQL Server 是一種關系型資料庫管理系統（RDBMS），提供了用于管理和操作資料庫的各種關鍵字。 以下是一些常用的 SQL Server 關鍵字及其含義： 1. SELECT: 用于從資料庫中檢索資料。 2. INSERT: 用于將新記錄插入到資料庫表中。 3. UPDATE: 用于更新資料 ......

    uj5u.com 2023-06-07 08:19:16 more
  • Hive執行計劃之一文讀懂Hive執行計劃

    ## 概述 Hive的執行計劃描述了一個hiveSQL陳述句的具體執行步驟，通過執行計劃解讀可以了解hiveSQL陳述句被決議器轉換為相應程式語言的執行邏輯。通過執行邏輯可以知曉HiveSQL運行流程，進而對流程進行優化，實作更優的資料查詢處理。 同樣，通過執行計劃，還可以了解到哪些不一樣的SQL邏輯其 ......

    uj5u.com 2023-06-07 08:13:14 more
  • Zookeeper

    # zookeeper ZooKeeper是一個開源的分布式應用程式協調服務 簡單來說可以理解為zookeeper = 檔案系統+監聽通知機制 應用場景: 1. 集群管理、服務器狀態感知 2. 分布式應用配置管理 3. 統一命名服務 4. 分布式鎖 > 小總結： >1. 為客戶提供寫資料功能 資料不 ......

    uj5u.com 2023-06-07 08:13:09 more
  • GreatSQL 8.0.32-24 今日發布

    - 1.新增特性 - - 1.1 SQL兼容性 - 1.2 MGR - 1.3 性能優化 - 1.4 安全 - 2.穩定性提升 - 3.其他調整 - 4.bug修復 - 5.GreatSQL VS MySQL - 6.GreatSQL Release Notes > GreatSQL 8.0.32- ......

    uj5u.com 2023-06-05 09:41:18 more
  • GreatSQL 8.0.32-24 今日發布

    - 1.新增特性 - - 1.1 SQL兼容性 - 1.2 MGR - 1.3 性能優化 - 1.4 安全 - 2.穩定性提升 - 3.其他調整 - 4.bug修復 - 5.GreatSQL VS MySQL - 6.GreatSQL Release Notes > GreatSQL 8.0.32- ......

    uj5u.com 2023-06-05 09:35:05 more
  • 快速上手kettle（三）壺中可以放些啥？

    [TOC](快速上手kettle（三）壺中可以放些啥？) ### 序言 快速上手kettle開篇中，我們將kettle比作壺，并對這個壺做了簡單介紹。 而上一期中我們實作了①將csv檔案通過kettle轉換成excel檔案； ②將excel檔案通過kettle寫入到MySQL資料庫表中 這兩個案例。 ......

    uj5u.com 2023-06-05 08:43:52 more
  • Django遷移資料庫編碼錯誤

    # mysql編碼錯誤 ![image-20230604115322661](https://img2023.cnblogs.com/blog/2862884/202306/2862884-20230604115422584-1121547495.png) 問題出現在用django的admin組件向 ......

    uj5u.com 2023-06-05 08:43:00 more
  • 鎖

    # **鎖** ## **概述** - **介紹** 鎖是計算機協調多個行程或執行緒并發訪問某一資源的機制。在資料庫中，除傳統的計算資源（CPU、RAM、I/O）的爭用以外，資料也是一種供許多用戶共享的資源。如何保證資料并發訪問的一致性、有效性是所有資料庫必須解決的一個問題，鎖沖突也是影響資料庫并發訪 ......

    uj5u.com 2023-06-05 08:37:35 more
  • Django遷移資料庫編碼錯誤

    # mysql編碼錯誤 ![image-20230604115322661](https://img2023.cnblogs.com/blog/2862884/202306/2862884-20230604115422584-1121547495.png) 問題出現在用django的admin組件向 ......

    uj5u.com 2023-06-05 08:26:05 more

Copyright © 2010-2020 有解無憂