我在家初创公司工作，做着数据处理的工作。公司其他人从外面采取数据回来，我就将其进行分类和汇总。但只不过在文件夹里剪切复制数据、然后统计在 excel 表而已，算不上数据处理的有含量技术。 现在领导让我自由地处理和管理这些数据，但我对数据处理管理这方面毫无经验、也不知从哪下手。我想知道做数据处理的大佬们从开始是怎样去做数据处理、从哪获取数据管理知识和数据处理管理的工具？ 小弟先在此谢过各位大佬了。握拳
This topic created in 2916 days ago, the information mentioned may be changed or developed.
 |
40aU4RaW20xf8hXnNov 19, 2018 via iPhone
1
多大数据量的
|
|
F281M6Dh8DXpD1g2Nov 19, 2018
2
你处理完了这些数据被拿去干啥了
|
 |
xmadiNov 19, 2018 via iPhone
3
数据到手 首先要做的是保存原始数据 然后再清洗整理 然后把清洗后数据入到库 可以是 mysql 或者其他各种数据仓库 最后按照需求从数据仓库里面拿数据 进行分析统计什么的
|
 |
imn1Nov 20, 2018
4
所有数据分析都是先学交叉分析的，简单讲就是交并差
最简单的工具，数据量小就是 excel，数据量大就是 SQL，然后才是编程 |
 |
5
@fox1751 不多，十几 G 吧
|
|
6
@liprais 数据都拿去给机器学习了
|
|
7
@xmadi 好的，我先从数据库入手看看
|
|
8
@imn1 交叉分析，我去了解下
|
 |
myhot21Nov 20, 2018 via Android
9
把你剪切复制的工作用代码实现
|
|
10
|
|
11
@myhot21 平时用 python 写脚本做这些工作，但还是觉得远远不够
|
 |
nl101531Nov 20, 2018 via Android
12
hdfs+hive ？
|
|
13
@nl101531 用 Hadoop 去处理这十几 G 数据，是否大刀小用？
|
|
nl101531Nov 20, 2018 via Android
14
@YoungBalance 还好吧。。。如果你对大数据处理感兴趣可以搞一下
|
|
15
@nl101531 好的，我试着搞搞
|
 |
yuiknsNov 20, 2018 via iPad
16
看需不需要横向扩展。比如可以预期的五年后，数据量是 100G 还是 10T 以上。前者的话好好学习 postgres 会很爽的，后者可以预先学下 spark 工具
|
|
17
@yuikns 最近确实想深入 postgresql，多谢了
|
|
yuiknsNov 20, 2018 via iPad
18
@YoungBalance 以前上课时候老师和我们说，什么叫做 bigdata 呢？其实并没有什么学术上定义，非要来个，数据之大，一台机器放不下。简单的 select join 下还是 psql 单机无敌。以后要是大了也可以塞 cockroach 去 https://www.cockroachlabs.com 。这是个分布式数据库，兼容 psql 协议，也可以做 spark 数据源。只有在必须要大数据时候再用大数据。否则就是糊弄下投资人的。
|
|
19
@yuikns 现在的我还是狭义认为 postgresql 是个存储数据库的想法。但我想更加知道 postgresql 在数据挖掘、数据处理方面的知识，该从何处入手？
|
Select Language