只导了 126 的数据到 mysql 已经有 10G ，做了索引， like 语法查起来还是很慢。（平均： 45s 设备： 256SSD+i5 ） 要想达到 163password.download 查询的速度，该用什么技术或架构？
› MySQL 5.5 Community Server
› MySQL 5.6 Community Server
› Percona Configuration Wizard
› XtraBackup 搭建主从复制
Great Sites on MySQL
› Percona
› MySQL Performance Blog
› Severalnines
推荐管理工具
› Sequel Pro
› phpMyAdmin
推荐书目
› MySQL Cookbook
MySQL 相关项目
› MariaDB
› Drizzle
参考文档
› http://mysql-python.sourceforge.net/MySQLdb.html
MySQL 相关项目
› MariaDB
› Drizzle
参考文档
› http://mysql-python.sourceforge.net/MySQLdb.html
This topic created in 3864 days ago, the information mentioned may be changed or developed.
 |
Bryan0ZApr 4, 2016 via Android
1
这网站为什么会返回乱码，是我的密码还没泄露？
另外参照 找密码网的源码，人家 500G 数据， 30 多个库速度也在 10 秒以内 |
 |
zonghuaApr 4, 2016 via iPhone
2
按首字母分库啊，并行查找
|
 |
3
他的是精确查找 你的是 like 查找 不是一个道理吧。只是要精确查找的话 还可以分成很多个表，查询速度必然迅捷无比。最简单的按 2 位首字母分表就可以分至少 1296 个 查询的时候做下判断就可以精确的去相应的表里面查 性能直接提升 1296 倍 你的 45S 马上就变成了 0.0347S
|
4 |
dapang1221Apr 4, 2016
4
Sphinx
|
 |
kslrApr 4, 2016
5
话说那个 TXT 里面乱七八糟的格式，我导了 100 万就放弃了，太麻烦了。
|
 |
FlygoatApr 4, 2016 via iPhone
6
mongodb ？
|
 |
liyvhgApr 4, 2016
9
全部加载到内存
|
 |
ucaimeApr 4, 2016 via iPhone
12
倒入到 ES 集群了，嗯，正在倒入，还有两个包，几个亿数据毫秒级。妈蛋这次的数据重复太多，去重略耗时间
|
 |
14
@kslr
LOAD DATA INFILE 'path/info.txt' INTO TABLE xxx FIELDS TERMINATED BY '----' LINES TERMINATED BY '\n'; 多看点参数说明就好了 |
 |
slixurdApr 4, 2016
16
Elastic Search 啊，虽然 like 这种通配符匹配还是很慢，但是分词后的模糊查询超快的，我们现在一个 index 就是 80G ，速度还超快。
|
 |
18
mongodb+es 几十亿都没任何问题，这种杂乱数据注意一下清洗，如果要做规则或者杂乱格式转发请用 kettle ，不过话说学会都是一个月后的事情了
|
|
SlipStupigApr 4, 2016
19
求裤子分享
|
 |
badcodeApr 4, 2016
20
 |
 |
21
不先整理一下？我全部转为 UTF-8 然后合并到一个文件并且 sort -u 之后数据就只剩 12 GB 了，这还有大量重复的信息呢
|
 |
lichaoApr 4, 2016 via iPhone
22
这破事，网易官方有回应吗？
|
 |
RangerWolfApr 4, 2016
23
我觉得 163password.download 并不快啊~
|
 |
dingyaguang117Apr 4, 2016
26
163password.download 是不是不全啊？ 我查了没有
|
|
dingyaguang117Apr 4, 2016
27
@ynyounuo 为什么还需要转码？ 邮箱密码不应该 ascii 就够了吗
|
|
badcodeApr 4, 2016
28
有意思，一张图片一个小时多而已
来自 v2 的 views 就有 300 多次 |
 |
guoerApr 4, 2016
29
你们都下载好了？
|
 |
jiongjiongerApr 4, 2016
30
只有 50 多 G ，直接丢内存得了
|
 |
sowayApr 4, 2016 via Android
31
类似搜索引擎的做法
|
 |
ianismeApr 4, 2016
32
grep -nr 自己的邮箱啊！！ *
|
|
SlipStupigApr 4, 2016
34
求下载地址啊
|
|
35
@SlipStupig v 站内就有的
|
 |
jhaohaiApr 4, 2016 via iPhone
36
索引对 like 无效
|
 |
manusApr 4, 2016
37
分表
|
 |
moultApr 4, 2016
38
模糊查找的话，还是基于 Lucene 吧。
精确查找的话，关系型数据库也不会慢吧。或者试试看 Redis 。 |
 |
strweiApr 4, 2016
39
试试文档数据库或者 Redis
|
 |
micookie1Apr 4, 2016
42
我忘记密码的终于找回了
|
 |
linescapeApr 4, 2016
44
@dingyaguang117 我查了有我的邮箱但是不是我的密码。。。
|
|
ucaimeApr 4, 2016
45
|
 |
TemporaryIDApr 4, 2016
47
导入数据： http://pastebin.com/2PyKHPjn
Web 服务： http://pastebin.com/SErx0WNj 用的是 LevelDB 导入后大概 25GB 服务器在 DigitalOcean 上 楼上 @yeyeye 说的对，因为是精确匹配，所以快 还有真的不要 DDoS 我好吗，我真的不是做这个的，只是玩玩 T_T |
 |
ffwalleApr 4, 2016
48
52g 根本小菜一碟，记得加索引。
|
|
ffwalleApr 4, 2016
49
哦，看到你说做 like 查询，呵呵，如果真的要快，那做 ngram 吧。。。
|
 |
powtopApr 5, 2016
50
求裤子
|
 |
xinyewdzApr 5, 2016
51
刚查了，密码是四年前的。
|
 |
wyxApr 5, 2016
52
歪个楼，解压密码是啥？
|
 |
thanksirApr 5, 2016
56
靠，我的泄露了
|
 |
soultearyApr 5, 2016
57
@ynyounuo 粗筛选可以在转码前先执行 shasum 简单计算 hash ，然后再做分词。算了一下，大概重复的数据有 438 ， 38.62%左右都是重复的。
如果先转码，恐会浪费不少时间（机器多可忽略...） |
 |
wwekApr 5, 2016
58
没裤子穿,需要裤子
|
|
soultearyApr 5, 2016
60
|
|
SlipStupigApr 5, 2016
61
@ifconfig 实在没找到地址
|
|
dingyaguang117Apr 6, 2016
62
@ynyounuo sort -u ， 请问你内存多大呢。。。 花了几个小时？
|
|
63
@dingyaguang117 内存 8G ， i5 ，已经过去一个小时了， MacBook 好烫好烫好烫好烫
|
Select Language