Recommended Services
› Amazon Web Services
› LeanCloud
› New Relic
› ClearDB
abcbuzhiming
V2EX  ›  云计算

以后的时代,大量数据都会存放在服务商提供的存储上了吗?那我们岂不是面对黑盒子编程?

  •  
  •   abcbuzhiming · Oct 21, 2018 · 5374 views
    This topic created in 2954 days ago, the information mentioned may be changed or developed.
    这两天看到说 Hadoop 要死的新闻 。据说 Hadoop 已经落后,而大量数据存放在诸如亚马逊 S3、微软 Azure Blob Storage 和 Google Cloud Storage 上的话,成本据说比 HDFS 便宜 5 倍。但是作为一个比较传统的程序员,我有如下疑问:

    * 如果所有数据都上了这些云,那我们不是在面对黑盒子编程?毕竟这些云的技术细节不会告诉你
    * 在关系数据库时代,我们对数据还是有设计和掌控能力的,如果所有数据都上云,我们会不会失去这个技能?
    * 以后是不是再也不可能自己在本地搭建在技术上对自己透明的大型数据处理系统了。这个能力又会重新回到巨头手里?

    各位说说自己的看法
    26 replies  •  2018-10-22 12:12:51 +08:00
    F281M6Dh8DXpD1g2
    F281M6Dh8DXpD1g2
    Oct 21, 2018❤️1
    1
    真正有数据的公司不会用云的
    不划算
    PulpFunction
    PulpFunction
    Oct 21, 2018
    2
    小公司有这样的需求,可能才产生了云服务
    likuku
    likuku
    Oct 21, 2018
    3
    小型初创公司会主要用云,规模达到一定程度,自建云(高度定制,只做自己用到的)会更实惠。
    pythongo
    pythongo
    Oct 21, 2018
    4
    不可能。
    一部分业务是可以放公有云,一部分是必须放私有云。
    未来必然是公有+ 私有, 私有的话怎么可能面对黑盒子,需要自己去维护的
    luojies
    luojies
    Oct 21, 2018
    5
    看好 BigQuery
    otakustay
    otakustay
    Oct 21, 2018❤️1
    6
    * 你现在也不知道操作系统的细节,不也对着这个黑盒子开开心心编程么
    * 在关系数据库时代的今天,我们早就不玩关系了,数据有条目( Record )就足够用业务逻辑表达一切了
    * 不如先说为什么需要自己搭建
    cigarzh
    cigarzh
    Oct 21, 2018 via iPhone
    7
    混合云
    mytsing520
    mytsing520
    PRO
    Oct 21, 2018
    8
    敏感数据不上云
    luckyc
    luckyc
    Oct 21, 2018 via iPhone
    9
    云服务器太贵了,我来公司的时候 一台 ecs 每月光带宽费用 1000 多,还有云盘。这还不算服务器费用。加一起一月开支 2500/ecs

    入职之后找了个电信机房租用,同样配置,100m 独,1800,硬盘要求换了全新做 raid0
    opengps
    opengps
    Oct 21, 2018 via Android
    10
    这么说的,成长不到能自建 idc 规模的公司还是用云划算,一单规模达到,看看滴滴美团京东等不都是自建云,而且是公有云
    Dragonish3600
    Dragonish3600
    Oct 21, 2018 via iPhone
    11
    除非超小型公司,不然大部分情况是自己建更便宜。
    ccnccy
    ccnccy
    Oct 22, 2018 via iPhone
    12
    云哪里便宜了,贵的很
    t6attack
    t6attack
    Oct 22, 2018
    13
    掌控的是数据本身,数据放在自己手里更安心,这跟技术没啥关系。
    之前你面对的也是黑盒子。你自建服务的技术,有几行代码是自己写的?大多数人,一行也没有。都不是自己编译的。都是拿过来直接用。这不是黑盒难道是白盒?
    少数大牛能看懂及改进源码,对他们来说才是白盒。如果挖到个 0day,好了,你的数据对人家来说全透明了。敢问你对此的,所谓的掌控能力在哪?
    natsukage
    natsukage
    Oct 22, 2018 via iPhone
    14
    .net Frameworks 也是这么想的
    l00t
    l00t
    Oct 22, 2018
    15
    你数据放哪里和是不是黑盒有什么关系?
    veightz
    veightz
    Oct 22, 2018
    16
    从自搭数据库到购买云数据库,为啥就变成黑盒了?
    veightz
    veightz
    Oct 22, 2018
    17
    @liprais 甚至还会自建机房。 除了性价比,还能快速支持自己的业务需求,给别人的厂商提需求,就不知道何年何月了。
    abcbuzhiming
    abcbuzhiming
    OP
    Oct 22, 2018
    18
    各位,我的问题关键在于第三点上,如果 hadoop 真的死了,是否意味着中小型公司和我们这种一般水平的程序员。会失去接触大数据技术的能力,会失去自建云的技术可能性?
    bk201
    bk201
    Oct 22, 2018
    19
    hadoop 爲什麽會死,這些大公司的產品還不是基於 hadoop?
    micean
    micean
    Oct 22, 2018
    20
    又不是不让用?天天这么焦虑
    agdhole
    agdhole
    Oct 22, 2018 via Android
    21
    @l4ever 电信机房在哪里找?能分享下路子吗
    cyspy
    cyspy
    Oct 22, 2018
    22
    Hadoop 死不了,虽然 MapReduce 快被替代了,YARN 能替代的就不多,HDFS 一个能完全替代的都没有。其他所有的框架基本都建立在 Hadoop 上
    youxiachai
    youxiachai
    Oct 22, 2018
    23
    云最大的作用是临时扩容.........

    没有临时扩容需求的..上云并不经济..
    artandlol
    artandlol
    Oct 22, 2018
    24
    @cyspy Ceph 能不能替代 hdfs 不清楚,但是比 hdfs 主流,分布式 hadoop 可以走的路不长,谷歌发力 cncf cncf.io ,也快吞并分布式的领域了。
    artandlol
    artandlol
    Oct 22, 2018
    25

    luckyc
    luckyc
    Oct 22, 2018 via iPhone
    26
    @agdhole 因为接触互联网早,认识不少业内人士。现在租的 2k 佛山电信,酷狗,多玩也在这机房。为避免广告嫌疑,需要联系方式需要的话私信我一下。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2150 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 54ms · UTC 14:11 · PVG 22:11 · LAX 06:11 · JFK 09:11
    ♥ Do have faith in what you're doing.