1

2

3

4

5

6

7

8

rsync -avzH --port=873 --delete --progress --exclude=system --password-file=/etc/rsyncd.passwd [email protected]::ftp /data2/clickhouse/data

[[email protected] clickhouse]# rsync -avzH --port=873 --delete --progress --password-file=/etc/rsyncd.passwd [email protected]::ftp /data2/clickhouse/data

receiving incremental file list

created directory /data2/clickhouse/data

...

sent 832,491 bytes received 559,951,468 bytes 5,811,232.74 bytes/sec

total size is 1,121,177,109 speedup is 2.00

1

ALTER TABLE db.table ATTACH PART 'part'

1

python migrate_parts.py -s 192.168.31.4 -d 192.168.31.2 -D /data2/clickhouse/data

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

# -*- coding: utf-8 -*-

import sys

import requests

import json

from urllib import quote

import os

from optparse import OptionParser

from optparse import OptionGroup

def run_cmd(host, query, port = 8123, database='cxy7_db'):

    url = 'http://%s:%d?user=%s&password=%s&database=%s&max_execution_time=300&query=' % (

    host, port, user, password, database)

    print query

    url += quote(query)

    resp = requests.post(url)

    print 'host------>%s' % host

    if resp.status_code == 200:

        return resp.content

    else:

        print 'err:', resp.content

if __name__ == "__main__":

    usage = "Usage: %prog [options] clickhouse python client"

    parser = OptionParser(usage=usage)

    ch_group = OptionGroup(parser, "cxy7.com clickhouse Config", "...")

    ch_group.add_option('-s', '--source', help='source server')

    ch_group.add_option('-d', '--dst', help='dst server')

    ch_group.add_option('-u', '--user', default = 'cxy7', help='user')

    ch_group.add_option('-p', '--password', default = 'cxy7_pwd', help='password')

    ch_group.add_option('-D', '--dir', help='data dir')

    parser.add_option_group(ch_group)

    options, args = parser.parse_args(sys.argv[1:])

    source = options.source

    dst = options.dst

    user = options.user

    password = options.password

    dir = options.dir

    if not source or not dst or not dir:

        print "field:(%s, %s, %s) can't be None" % (source, dst, dir)

        parser.print_help()

        sys.exit(-1)

    print 'migrate from %s to %s', source, dst

    sql = "SELECT database, table, name FROM system.parts WHERE active AND database != 'system' FORMAT JSON;"

    resp = run_cmd(source, sql)

    json = json.loads(resp)

    parts = json['data']

    ch_data = '/data1/clickhouse/data'

    for part in parts:

        database = part['database']

        table = part['table']

        part_name = part['name']

        part_path = dir + '/' + database + '/' + table + '/' + part_name

        detached_part_path = ch_data + '/' + database + '/' + table + '/detached/' + part_name

        print 'move:%s -> %s' % (part_path, detached_part_path)

        try:

           shutil.move(part_path, detached_part_path)

           cmd = 'chown -R clickhouse:clickhouse ' + detached_part_path

           os.system(cmd)

        except (IOError,AttributeError):

           print 'error'

           continue

        sql = "ALTER TABLE %s.%s ATTACH PART '%s'" % (database, table, part_name)

        print run_cmd(dst, sql)