程序员

异构数据同步工具tapdata使用记录

作者:admin 2021-08-01 我要评论

简介 本次由Mysql同步到Mongod集群中,Mysql为1主2从MHA实现的高可用架构,Mongodb是由3个复制集组成的分片集群(测试环境mongos只有一个,安全起见应该启两个做...

在说正事之前,我要推荐一个福利:你还在原价购买阿里云、腾讯云、华为云服务器吗?那太亏啦!来这里,新购、升级、续费都打折,能够为您省60%的钱呢!2核4G企业级云服务器低至69元/年,点击进去看看吧>>>)

简介

本次由Mysql同步到Mongod集群中,Mysql为1主2从MHA实现的高可用架构,Mongodb是由3个复制集组成的分片集群(测试环境mongos只有一个,安全起见应该启两个做高可用。config复制集一个)

集群构架如下:

tapdata部署服务器

192.168.175.232(测试可集成于其中一台服务器)

Mysql

集群环境本意是通过写节点进行访问,做数据导出,测试时还是真连了主库

192.168.175.206主

192.168.175.207从

192.168.175.208从

写节点:55,读节点199

mongo

192.168.175.233

192.168.175.234

192.168.175.235

每台虚拟机上开四个端口,三个复制集和一个config集群,两个mongos分别在233,235上,测试只开启235

复制集端口:27010,27011,27012,config复制集端口:27019,

mongos端口使用的是27017

搭建过程省略,贴出简略示意图

3个复制集的分片伦集群

tapdata安装

1、登录页面:https://cloud.tapdata.net/

2、注册登录后,管理agent,标签右侧有个部署,点击进行下一步

部署Agent,具体方法参考下方的Linux安装方法,详情上官网

3、部署页面中有Linux安装方法

tapdata在linux的安装方法

安装方法

? 1. 部署前请确认你的本地环境中已安装 java

? 2. 请复制下方命令并在本地部署环境执行,其包含 Tapdata Agent 的下载、自动部署及启动

? 3. 下载、部署 Tapdata Agent 无需 root 权限

? 4. 我们非常建议在一个独立、干净的文件夹内部署 Tapdata Agent

wget "http://resource.tapdata.net/package/feagent/v1.0.3-cloud/tapdata" && chmod +x tapdata && ./tapdata start backend --downloadUrl http://resource.tapdata.net/package/feagent/v1.0.3-cloud/ --token a/HZzXh5MDbwPGd8hCzZYYF0XXgDZ287oY34Sx3QAq5Z7zikkMRcI62kZHXq8RRJj6VrJcSY6ehw4iM8d8LW1eVxsdTr0OD8MUuFxeIPgTSdKKFDc/otA5YWsBj5I0q2JUz9111sL5gW8EaKeWRGuk7gjwFc4WjU3csOv1lyX2j7q7GRBZ0R+9BcicStdfweBriD8BPyIPvZcIkQZSqWf2NrRQSK4Bg7Th/o1TApEnLS5uOQOpVt7XyKjDs5QmfPAWOTr+pzUkl9kDN8i6feUf33HueRHxXXJKFpXZuMp/PtANgEeE9RlESQBCppYcv9duMKOi1/1vMt1rLryAF1t2/np9W7M1nSqCp5lDFN5lv4YpjBeVGByuYeXe+7QLjvE2DC5yBPJjACa+A5BBX1Fo99cMJNLMm1lg0+QuqsuZU1UP8tiw+iRgdNArRdxrRckMMIoj3gGPPscvjZsC4vbQ==

关闭 Tapdata Agent

./tapdata stop

启动 Tapdata Agent

./tapdata start backend

查看 Tapdata Agent 状态

./tapdata status

注意

Tapdata Agent 运行后会在 Tapdata 官网 Agent 管理页面自动注册,此时你可通过管理页面对其进行管控,也可在本地使用命令行方式对其进行管控,如果你的本地部署环境无法连通公网,那么你可能无法在 Agent 管理页面看到对应 Tapdata Agent

注意

每个免费用户同一时刻只可运行一个Tapdata Agent

云端创建连接数据源

安装完成后,重新tapdata云端页面,创建数据源连接

在连接管理中,创建数据源,mysql正常提供IP,PORT,HOST即可正常连接,对于MongDB,要注意其URL的写法

添加连接数据源

我这里测试创建多添加了几个

通过可用数据源创建同步任务

任务设置同步方式
配置同步哪些表信息

开户同步任务

启动任务

备注:开启同步任务与上一步图中创建任务名称不同,还请使用时,开启自己创建的同名任务

点开运行监控选项,可见同步进度,与运行日志相关内容

点击运行监控

#### 下方可见运行日志及任务里程碑

同步进度信息
同步进度中的,传输耗时与同步差距
可以在Mongod分片集群中看到同步过来的信息

详细的请参考官方网站指导信息

https://cloud.tapdata.net/#/registry

版权声明:本文转载自网络,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。本站转载出于传播更多优秀技术知识之目的,如有侵权请联系QQ/微信:153890879删除

相关文章
  • 十月更新修复了Windows 10的Ping of De

    十月更新修复了Windows 10的Ping of De

  • Windows10 UAC弹窗太烦但又不能关?教

    Windows10 UAC弹窗太烦但又不能关?教

  • 老大手把手教我玩 Git 变基!

    老大手把手教我玩 Git 变基!

  • 在Linux终端中展示幻灯片

    在Linux终端中展示幻灯片

腾讯云代理商
精彩导读
海外云服务器
热门资讯
腾讯云代理商