看了官方文档，官方文档提成反规范化设计，并且提供了 4 种方式，最简单不影响性能的就是把有关系的数据掰成扁平化，目前我们系统做了一个自定义字段，考虑数据量大而且前端要做复杂筛选条件，上了 es，存数据时同时操作了 es 和 mysql，查询全部采用 es
插入的时候把自定义和系统字段全部掰成了一份文档储存，那么字段数据更新的时候该怎么办呢，或者有什么更雅的方案嘛，有做个的大佬麻烦给点意见，第一次使用 es
This topic created in 1882 days ago, the information mentioned may be changed or developed.
 |
theOneMeSep 10, 2021
1
binlog
|
 |
kidljSep 10, 2021 via iPhone
3
cdc debezium kafka
|
 |
strawberryBugSep 10, 2021
4
看你 es 和 mysql 存储的数据结构是否一致？ es 不好做 join 查询，多表写入一个索引这种需求的话还是选用传统的方式更好扩展些，即推送更新到 mq，消费 mq 写入 es(全更新 or 部分更新)。 单表对单索引这种，canal，logstash 都行
|
 |
jabariSep 10, 2021
5
Change Data Capture (CDC) canal kafka
|
 |
gBurnXSep 10, 2021
6
你都没说你的业务需求，一上来就问怎么用工具？
|
 |
misaka19000Sep 10, 2021
7
这不简单，插入和更新都走同一套数据格式处理逻辑不就行了
|
 |
ElmerZhangSep 10, 2021
8
https://github.com/alibaba/canal
要保证数据一致性，这基本是最优解 |
 |
swcatSep 10, 2021
9
go-mysql-transfer -> 使用 lua 写同步逻辑
|
 |
wangxin13gSep 10, 2021
10
想说 canal 的 然后看了下发现有人发了
|
 |
changdySep 10, 2021
11
debezium 😎
|
 |
12
1. 阿里云 DTS 订阅 binlog 同步
2. 实时性要求不高并且数据量不大可以每天跑下全量 |
1
Select Language