因为 sql 的文件带索引,我尝试修改 mysql 的配置,然后用 source 导入速度很不理想,24 小时才导入了 1.8kw ,有大佬指下方向吗?
因为 sql 的文件带索引,我尝试修改 mysql 的配置,然后用 source 导入速度很不理想,24 小时才导入了 1.8kw ,有大佬指下方向吗?
|
JaminTAug 22, 2019
1
也是困扰我的一个问题
|
|
2
@cuixiao603 http://note.youdao.com/noteshare?id=57e8cc049322e22db3fed23e4deac8e6 目前这样,不知道有没有更快的方法,现在 1s 大概 3k (不准确统计)
|
|
3
这样的速度,理想化也需要 3 个小时左右...
|
|
cubecubeAug 22, 2019 via Android
4
下次别导出 sql 会快点
|
|
6
啥都不如直接复制 sql 的文件快
|
|
chinesestudioAug 22, 2019 via Android
7
物理机 ssd 集群 十几分钟就搞定了
|
|
8
@chinesestudio 单机,普通硬盘,理想状态下 4 个小时...后悔呀,复制 mysql 文件,不导出 sql 都会比这个效率高,没办法了
|
|
justgodlike1993Aug 22, 2019
9
SET SQL_LOG_BIN =0 ;试试
|
|
mchlAug 22, 2019 via iPhone
10
mysql -u username -p < /path/to/dump.sql
|
|
msg7086Aug 23, 2019 via Android
11
先问是不是 SSD。
当年很出名的一个事,有个公司没用 SSD,跑 MySQL 升级跑了 9 个月还是多少来着,还没跑完,成为笑柄。 |
|
ntdllAug 23, 2019
12
不确定有没有用,考虑一下先不建立索引,关闭事务,全部导入完成以后,再一次性建索引?
|
|
aaronchou0Aug 23, 2019
13
我每周都要导 30G+ 8kw+行的数据,用时最多不超过 50 分钟。10G 4kw 的话最多也就 20 分钟。
|
|
sr0miaoAug 23, 2019
14
不会这样吧,我到处 200 个 G 数据大概 5 个小时啊,企业级的机械硬盘
|
|
sr0miaoAug 23, 2019
15
试试导出的时候带 -e --max_allowed_packet=xx --net_buffer_length==xx 参数,可以设大一点,不然就是硬盘的问题了
|
|
aaronchou0Aug 23, 2019
16
@sr0miao 你导出跟我导入速度差不多了。我这个是个破虚拟机 4C8G
|
|
sr0miaoAug 23, 2019
17
@aaronchou0 说错了,是导入。。
|
|
sr0miaoAug 23, 2019
18
@aaronchou0 这个跟你虚拟机没关系啊,使用 sql 文件导入影响导入速度的主要因素 sql 文件构成和磁盘速度(决定因素)。
|