谷歌昨天挂是因为磁盘满了。。。。

matrix67 · 2020-12-15T01:41:29Z

感觉很实诚，没用网络割接抖动之类的借口。顺便问下监控技术哪家强。有人吐槽从 google photos 开始不再无限存照片，就知道它磁盘资源吃紧了！

磁盘

Photos

抖动

吃紧

108 replies • 2020-12-16 11:52:13 +08:00

1 2

❮

❯

salmon5

Dec 15, 2020

1

丢人的 Google

silvernoo

Dec 15, 2020

2

哈哈不丢人

lvzhiqiang

Dec 15, 2020

1

3

实诚！

andrewpsy

Dec 15, 2020 via Android

4

图显不出来，不是用的谷歌图库吧？

wgbx

Dec 15, 2020

5

丢人在哪里？

Tink

Dec 15, 2020

6

不容易

salmon5

Dec 15, 2020

7

@wgbx 全球鼓吹 SRE，结果自己核心系统出现低级失误；

felixcode

PRO

Dec 15, 2020

8

不丢人，技术还是全球首屈一指的。

gtchan13579

Dec 15, 2020

9

怪不得昨天我的谷歌账号登不上了，今天又突然好了。

43529

Dec 15, 2020

10

磁盘满了.....满了....

thet

Dec 15, 2020

11

@salmon5 SRE 不是不出错误，要综合 SLA 等等一起看的

MeteorCat

Dec 15, 2020 via Android

12

这理由清新脱俗，导致不知道从哪里开始吐槽

fyovo

Dec 15, 2020

13

磁盘满了害行...

deorth

Dec 15, 2020

14

昨天油管帐号登不上，都不知道该看啥

matrix67

OP

Dec 15, 2020

15

@salmon5 #7 而且降级熔断也有问题哈，命名是认证服务挂了，但是油管也看不来，这个没有降级啊。

所以有人说隐身模式是可用的。

matrix67

OP

Dec 15, 2020

16

命名 => 明明

luob

Dec 15, 2020 via iPhone

19

17

隔壁 p 站这几天删了 70%的内容，正好可以找他们借几车硬盘……

e1nher1ar

Dec 15, 2020

18

看来运维都差不多……

Kupanda82

Dec 15, 2020

19

45min sla 今年 kpi 不达标了

saytesnake

Dec 15, 2020

20

k8s 的监控做得不好吧...

mmdsun

Dec 15, 2020

21

@wgbx 5 个月内宕机 3 次。。次数有点多啊

thjwuliubu

Dec 15, 2020

22

所以薅羊毛别太狠了最后的结果就是大家都没得玩

opengps

Dec 15, 2020

58

23

45min/(365*24*60)=0.0000856164，也就是说可用性 99.99143836‬%
谷歌级别的服务，可用性才有 4 个 9，各位提需求的老哥们，你们参考下，别动不动要求 7 个 9

wpblank

Dec 15, 2020

24

上上周我们这边也是一个提供服务器+数据库的服务商磁盘满了，他们提供的数据库应该是共用磁盘，最后当天服务好几家公司宕了半天

goodryb

Dec 15, 2020

22

25

思路清奇，挂了就是挂了，什么原因对用户来说重要么，还要贴个诚实的标签

love

Dec 15, 2020

26

原来 Google 也不监控磁盘空间的

marcong95

Dec 15, 2020

27

昨天刚好在那个时间点想看一下 notion 上的东西，然而登录信息过期了，用的 Google 第三方登录，就连带 notion 也登不上了。。。看来第三方登录也不太靠谱，起码要留一个密码备用。。。

arthas2234

Dec 15, 2020

28

事实证明，不要把鸡蛋放在一个篮子里

whileFalse

Dec 15, 2020

29

@luob #17 怎么就删内容了呢？

Braisdom

Dec 15, 2020

30

作为程序员看了这样的问题，是不是觉得内心平衡了一点呀。

NewIPIsComing

Dec 15, 2020

1

31

誠實，作為核心價值觀之外的一種美德，當然值的表揚

randomuuid

Dec 15, 2020

32

这个理由根本就是瞎几把扯
就算是是一个没有运维的小公司，也很少会因为磁盘满导致服务挂掉的；更何况 google ！

stoneabc

Dec 15, 2020

33

1. 短时间内某些程序突然大量写盘把磁盘占满了，监控来不及告警
2. 监控很早就告警了，SRE 当做没看到
3. SRE 看到了，通知机房运维上新磁盘，但由于疫情机房运维人手不足没来得及上…
哪种可能性比较大。。

cnkuner

Dec 15, 2020 via Android

11

34

不一定是实诚，可能是用硬盘满了来掩盖更大的问题。

ddefewfewf

Dec 15, 2020

35

@whileFalse 收款方式凉了

hq136234303

Dec 15, 2020

36

@luob 为啥？

qiaobeier

Dec 15, 2020

37

昨晚吓死我了，我那个 gmail 绑定了一大堆服务。。。这 gmail 好像没怎么靠谱啊。但是也许我应该自己买个域名，这样就算邮件服务器挂了也可以换一个。不至于那么被动。

tikazyq

Dec 15, 2020

38

如果没遭遇过磁盘 /CPU/内存 /带宽满了、上线翻车、数据库损坏、版本冲突、网络故障，人生都不完整。

看看人家赛博朋克 2077，bug 都多出天际了，照样不影响它的受欢迎程度

whyso

Dec 15, 2020

39

刚清过线上磁盘，已经百分之 80 多了。。。

liangch

Dec 15, 2020

2

40

丢人的前提是，有其它家做得更好。问题是，有么？没有，就不丢人。

treblex

Dec 15, 2020

41

@opengps #23 原来是这个意思，前几天在抖音看见，还以为是八心八箭之类的

weyou

Dec 15, 2020 via Android

42

找这个理由是为以后的收费做铺垫吧

Illusionary

Dec 15, 2020

43

不是因为总所周知的原因？

phpcxy

Dec 15, 2020

1

44

某知名学习网站疯狂删除大量视频，莫非也是这个原因吗

NerverLibis

Dec 15, 2020

11

45

来个中国式的理由吧：
谷歌官方表示，导致故障发生的人员为无正式编制的临时工。
对 AA BB CC DD EE FF 等 6 名实习生 /临时工 /外包员工-予以解聘。
故障发生时时，从监控视频中可看到，有一位牌号“J1397”的资深员工缓慢经过，但并未做任何反应停留。
对此，运维部门 XX 经理答复道，当是运维人员因公出差，此地服务器不属于我们管辖范围内。
被解聘实习生：“我看电视才知道自己已经解聘了，以后不想再干这份工作，我想离开美国”。
受影响客户：希望运维道歉规范操作

kuner0614

Dec 15, 2020

46

昨天 p 站也调整了内容政策，删除了未认证账号的发布视频。目前 P 站的视频总数从 1300 万部降至仅 400 万部。
另外，以后仅允许认证用户发布视频，方式是上传手持 ID 的照片。

6IbA2bj5ip3tK49j

Dec 15, 2020

12

47

说实话，我是不信的。
硬盘是最容易冗余，最低价的设施了。
Authentication 系统出问题，这也不是一个会产生大量数据的系统。

当然，在有些人眼里，谷歌说啥都是对，楼上都快扯到阿共的阴谋了。

hd2ex

Dec 15, 2020

2

48

没什么丢人的，错误不论高级还是低级，是人就会犯。诚恳面对的态度才可以造就伟大，而这正是国内环境缺少的。

TypeError

Dec 15, 2020

2

49

spanner/f1 数据库不是全球分布式的吗

tribute

Dec 15, 2020

50

@kuner0614 #46 特地上去看了一眼，timeline 和片单都空了🥺🥺🥺so sad

wangkai123

Dec 15, 2020

7

51

quota 和磁盘满了还是有区别吧，别搞这种营销号标题。。

Williams2008

Dec 15, 2020 via Android

1

52

所以说地主家也没余粮了？

matrix67

OP

Dec 15, 2020

1

53

@wangkai123 #51

磁盘配额问题，只可用资源的上限。

要是你来翻译，你会咋翻译呢？

feast

Dec 15, 2020

54

Y2B 一直 something wrong，http500 就知道是谷歌服务器出问题了，不过不登录的话是正常的，应该是用户评论数据那块满了

mingt

Dec 15, 2020

5

55

googlephotos
不免费的原因是 AI 学习的资源已经足够了,
不再需要各位提供了而已

weifan

Dec 15, 2020

1

56

是我高估 Google 了...

sm0king

Dec 15, 2020

1

57

都遇到过磁盘满的事情吧？
也没见多少因为磁盘满宕机的。

MonoBiao

Dec 15, 2020

58

@kuner0614 那么问题来了，我以后要怎么看考研课程呢

laoyur

Dec 15, 2020

1

59

很好，那正好可以为油管删除它不喜欢的视频找到借口了，磁盘不够了

kuner0614

Dec 15, 2020

60

@bankroft 私以为 p 站的长篇没有 twi 上的小视频刺激 XD

Narcissu5

Dec 15, 2020

9

61

@goodryb 大侠有所不知，像阿里云这种每次出了问题死不承认，说是我们程序 BUG 让我们找原因，真是能把人憋屈死。另外阿里云的那么多个 9 也完全是靠死不认错换来的

superrichman

Dec 15, 2020 via iPhone

62

@goodryb 信息透明，开放，比糊弄用户要好多了，用户可能不懂技术问题，但是服务提供者给出真实的事故说明很加分。

js8510

Dec 15, 2020 via Android

2

63

Quota 不是硬盘资源吃紧是某些 service 分配的 quota 用完了会被 downstream throttled

aonshuy

Dec 15, 2020

1

64

@goodryb 比烂的时代，造就了这种斯德哥尔摩综合征奇观

AllRightReserve

Dec 15, 2020

1

65

果然跟我们的百度网盘比还是有一段路要走！

mwftts

Dec 15, 2020 via Android

66

公司 SAP HANA DB 出错，宕机两次，阿里云可以申请赔偿，只是留给优惠券而已

deeplydrink

Dec 15, 2020

67

天啊。。。。。真的啊，，，

bnrwnjyw

Dec 15, 2020

68

讲道理，别管问题低不低级，贴了原因就是诚实啊。总比某些服务挂了永远不说原因，它犯的就是“高级错误”？

love

Dec 15, 2020

2

69

楼上说得好象 Google 也公布了细节似的，这说内部存储问题和说网络抖动有什么区别

smilingsun

Dec 15, 2020

1

70

看 SRE 书里面讲，Google SRE 写 postmortem 都不会被 blame 。
话说对外会不会有更详细的解释？

novaa

Dec 15, 2020

71

@NerverLibis 优秀

6ufq0VLZn0DDkL80

Dec 15, 2020

1

72

谁说的 internal storage quota issue 一定是容量满了。。。。

towry

Dec 15, 2020

73

他说是啥就是啥

weifan

Dec 15, 2020

74

@Narcissu5 Google 感觉这解决速度有些慢了些。不过国内确实都是推卸责任，不是自己问题。。。

ntgeralt

Dec 15, 2020

75

所以，上面的读者都信是储存满了？

hikarugo

Dec 15, 2020

76

@goodryb 你是挺清奇的，客观的标签都需要贴，可不是靠同行衬托的好吗，这也要酸

reus

Dec 15, 2020

77

storage quota 问题，不一定是磁盘满了，也可能是配额设置有问题，配少了，或者没有自动调整配额，等等。

reus

Dec 15, 2020

1

78

@love https://status.cloud.google.com/incident/cloud-networking/19009 以前公布的一些细节。这就是区别。刚恢复没有细节也不奇怪，但不公布细节不是谷歌的风格。

exploreexe

Dec 15, 2020

79

不愧是你。
还是我爱的谷歌，宕机的理由都是这么清新脱俗。:doge

reus

Dec 15, 2020

80

https://sre.google/sre-book/postmortem-culture/
Postmortem Culture: Learning from Failure
Blameless 才是好哲学，出了一点点问题就找人背锅，只会让人倾向于掩盖问题

willsplashing

Dec 15, 2020

81

"internal storage quota issue" 是非常精确而且客观的描述，这都能联想到阴谋论也是醉了

frostming

Dec 15, 2020

82

别这样，谷歌一挂，大家都炸了，你让有关部门的脸往哪搁

Y29tL2gwd2Fy

Dec 15, 2020 via iPhone

83

张口就来磁盘满了，呵呵

whileFalse

Dec 15, 2020

84

@ddefewfewf #35 为啥凉了？我刚买了终身会员🐶

matrix67

OP

Dec 15, 2020

85

@Y29tL2gwd2Fy #83
@willsplashing #81
@reus #78
@reus #77
@ntgeralt #75

补充一下，这边有详细原因解释，大家不用瞎猜了哈。 rsus 老哥最稳！！！

https://status.cloud.google.com/incident/zall/20013

The root cause was an issue in our automated quota management system which reduced capacity for Google's central identity management system, causing it to return errors globally.

FinnBai

Dec 15, 2020

86

https://status.cloud.google.com/incident/zall/20013

"The root cause was an issue in our automated quota management system which reduced capacity for Google's central identity management system, causing it to return errors globally. "

还没有更细节的内容，但这个描述能说明不是单纯的磁盘满了

Voichesapete

Dec 15, 2020

87

@baiyi
看了卫报的报道，就是磁盘写满的原因吧。When that storage filled up, the system should have automatically made more available; instead, it seems it didn’t, which meant the system crashed
https://www.theguardian.com/technology/2020/dec/14/google-suffers-worldwide-outage-with-gmail-youtube-and-other-services-down