目前有一个需要处理 500 万条目大约 50GB 数据，数据目前放在 mongoDB 上，每次处理需要读出来，处理再写入，耗时在 5-6 个小时不等。请问目前市面上有什么样的云端数据处理框架可以帮助我能在分钟级或者秒级处理这些数据吗？
This topic created in 3468 days ago, the information mentioned may be changed or developed.
 |
lynnworldMay 14, 2017
1
为什么每个条目这么大？
|
 |
ETiVMay 14, 2017
3
这么大数据，还要这么短时间。。。
要是硬盘给力的话，最快的处理方式恐怕就只有 rm -fr 了 |
 |
billionMay 14, 2017
4
如果你的 MongoDB 用的是阿里云，那么你可以试一试 MaxCompute
|
 |
dexterzzzMay 14, 2017
5
用内存，列存储数据库
|
 |
KilerdMay 14, 2017
6
50GB /60 s = 1G/s
就算是连续读写这个速率都不低啊， 还要进行处理 |
 |
wanglaihuaiMay 14, 2017 via Android
7
@ETiV 哈哈哈哈，这个最快了。
|
 |
powergxMay 14, 2017
8
ramdisk 可以， 延迟 /吞吐量能达标。 云端不可能有
|
 |
rrfengMay 14, 2017
9
如果还会增长的话趁早改 Hadoop 平台，各种选择
如果永远这么点儿的话 MongoDB SSD 多加内存也是可以的，但是要注意主机网络带宽（云主机内网带宽），一定会成为第一个瓶颈。解决方案是分片 |
 |
kanegMay 14, 2017 via iPhone
10
hanadb
|
 |
chocolatesirMay 14, 2017 via Android
11
或许 conoha 可以。。
|
 |
ihuotuiMay 15, 2017 via iPhone
12
业务是怎样？单数据量有什么好说
|
Select Language