如题,简单的select id from table where date = '2014-12-10' group by ** 都跑不了,数据好像是太大了。
像一天这么大数据量的数据库,应该使用什么引擎比较好?
或者应该怎么存放数据会比较合理跟有利于查询的?
有没有人有经验的请教下
像一天这么大数据量的数据库,应该使用什么引擎比较好?
或者应该怎么存放数据会比较合理跟有利于查询的?
有没有人有经验的请教下
|
learnshareDec 10, 2014
1
日志的话,丢到文件里。查找只能费点时间
|
|
xjliaoDec 10, 2014
2
oracle的话 就按时间建表分区 然后根据时间条件查找某个表分区里的记录
|
|
xiaoguiDec 10, 2014
3
这些东西,不适合保存在数据库。
|
|
4
@learnshare @xiaogui 放文件里面不方便做聚合,比较麻烦处理
|
|
E2gCaBAT5I87sw1MDec 10, 2014
5
1k/每行 * 10,000,000 行 = 10G 数据量,1个月300G,1年 3T 多数据
这是什么数据,怎么会这么多啊? 如果是要求查询快速,分布式存储和分布式计算是少不了。 |
|
E2gCaBAT5I87sw1MDec 10, 2014
6
建议看看:rethinkdb 之类的分布式数据库
|
|
7
@winnie2012 广告类的浏览日志,好,谢谢,我看看能不能解决
|
|
E2gCaBAT5I87sw1MDec 10, 2014
8
然后,硬盘换成 SSD 固态硬盘,各子结点之间网络带宽要求能保证。
|
|
stranbirdDec 10, 2014
9
HDFS
|
|
xiaoguiDec 10, 2014
10
日志保存成文件,然后后台程序跑日志文件生成统计数据。
|
|
lavenDec 10, 2014
11
扔hadoop,使用mapreduce
|
|
learnshareDec 10, 2014
12
@wuxiaolin 大量的日志不应该丢到应用数据库里,严重拖慢速度
|
|
13
感谢上面的所有朋友
@xiaogui 汇总的话试过,重复过滤不明显,所以用不了这种方案 目前我们这些日志主要存放1-2个月左右,不会永久存放,我了解下大家提供的,看看适用不 现在主要由于一天数据量太大,sql读不出数据 |
|
lbp0200Dec 10, 2014
14
mongodb简单,可靠
|
|
heaton_nobuDec 10, 2014
15
按日期分表
查询之前索引做好 读写分离 |
|
xiaoguiDec 10, 2014
16
重复过滤?想要什么数据,就用程序跑就好了。基本跑完的原数据是可以删掉的。
|
|
cye3sDec 10, 2014 via Android
17
hadoop呗,hive做统计,hbase快速查询
|
|
ChicheleDec 10, 2014
19
你的date字段真的是用字符串保存的?
|
|
xfwdukeDec 10, 2014
20
其实也没那么夸张
从 lz 的 sql 来看, 会先用日期收敛结果, 所以实际对象只有 kw 级别 1. 如果查询场景(也就是 sql 的类型) 不多, 可以针对性的建索引优化 2. 但是由于怎么说都是聚合查询, 频率肯定不能过高, 否则 DB 机器的 CPU 会很高 实测: 1. 1.2亿记录的表 2. 125G 数据量 select zone_id, count(*) from log_2014_11 where id_1 = 32 group by id_2; +---------+----------+ | id_2 | count(*) | +---------+----------+ | 1 | 4983336 | | 2 | 3628759 | | 3 | 120960 | +---------+----------+ 3 rows in set (9.47 sec) id_1, id_2 是一个联合次级索引的头两个字段, 速度不算很快, 但也不算很慢 环境 1. MySQL 5.5 2. Innodb 3. 32G 内存, SSD 4, 16G buffer pool |
|
E2gCaBAT5I87sw1MDec 10, 2014
21
楼上的性能不错,是 SSD 阵列吗?
|
|
22
简单的方式是试试 MySQL 的 PARTITION 功能有没有效果。
复杂的方式是,按照你的这个结构,你可以考虑按天拆表。 |
|
xfwdukeDec 10, 2014
23
@winnie2012 PCIE ssd
|
|
aruDec 10, 2014
25
不要用group by ,自己取出来数据再分组吧
group by 大结果集mysql很耗内存的,如果数据库内存不够可能跑不出来结果。 |
|
aruDec 10, 2014
26
@wuxiaolin 你做的是统计吧?
数据就是现在这样按天存就好了,统计的时候先导出一份数据,然后自己用程序跑就行了,几千万数据的统计,就算用python写,有个8G 内存的机器也水平跑了。 数据库就做存储好了,别让它来做统计。 |
|
xfwdukeDec 10, 2014
27
统计不在 db 上跑, 一般是业务比较大, client 很多而且不确定的情况, 这样防止不好的 sql 影响到其他的 client
如果 lz 的场景 client 不多, 倒无所谓了, 毕竟聚合后的结果小, 省流量呀, 这也是银子啊 |
|
loryyangDec 10, 2014
28
数据量不是问题,主要看场景。比如:你的历史数据使用频率是否很高,如果不高,那么近期的数据和历史数据分开存。重点保障近期数据的查询效率。近期数据定时导入历史数据库就行了。
但是如果你需要大量使用历史数据,同时要求很高的反应时间,那么就需要较多机器,部署分布式的mysql或者Oracle。整个的工作量会相对大很多,难度也高许多。 如果需要大量使用历史数据,但是要求反应时间不高,那么采用类似hadoop、htable的系统也不是不可行 |
|
luciferluDec 10, 2014
29
@cye3s 赞同这个方法。具体什么方案要看你的数据特性,查询频度等。
如果查询频度不高,对查询结果的时效性不是很强,仅仅是对过去的历史数据做查询(不涉及当天未记录完的数据),可以把数据写到文本文件(CSV),然后每天上传至S3,按照Hive的partition结构归档,需要查询的时候起一个EMR cluster,用Hive做查询。Hive的语法和SQL基本一致,很容易上手。如果有定期的数据分析的要求,这个方案更有优势,EDP定时启动一个EMR来执行Hive脚本,结果还是存在S3,也可以下载load到关系型数据库用来展示。 如果要求是实时查询,实时显示结果,或者有复杂的数据关联关系,可能关系型数据库更适合,以上说的partitaion,数据库引擎的优化,存储的优化都是好的方法。 这两个方法,第一个便宜,可以存储更长时间的数据,而不影响查询。第二个实时响应,但是成本高,运行维护难度也高。当然也可以考虑混合方案,AWS上做数据归档,历史数据查询,数据库里面保存短期数据,做实时查询。 |
|
lincanbinDec 10, 2014
30
一天几千万,一个月就得10亿条。
你这如果数据不需要经常查询的话就分服务器分库分表吧。 服务器上固态,内存加大在内存里做热数据和插入缓存。 |
|
akiraDec 10, 2014
31
看看阿里云的odps能不能满足你的需求
|
|
otakustayDec 10, 2014
32
广告能做到一天几千万的浏览,这不是普通的站点应该是广告供应商或者广告联盟了吧……这种级别公司内部应该有这类碎而多的数据的存储方案吧,比如Hive之类的
另外这类日志应该是按天或小时统计,统计完可以归档的,所以分成归档的和未归档的,聚合其实也不是太麻烦的事 |
|
ryd994Dec 11, 2014 via Android
33
既然你没多少读的话还不如直接写log文件,然后写个log分析的小脚本每天跑靠谱
|
|
xiaoguiDec 11, 2014
34
@wuxiaolin 觉得还是需要对你们的统计需求进行细分,看看都需要哪部分原始数据、哪部分统计数据?然后再决定怎么解决。放数据库就是现阶段不用太操心,但是写 log 日志,然后单独用脚本跑统计是一个比较长期的解决办法。
|
|
tracebundyDec 11, 2014
35
阿里的RDS 应该可以 http://www.aliyun.com/product/rds/
|
|
prowayneDec 11, 2014
36
用es ,上大内存就行,这数量也不是很大
|