about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

好友推荐

新加入会员

最新动态| 热点动态

2019-05-15

2019-05-14

2019-02-22

  • pig2 发表了新日志 2019-2-22 17:37 (评论)
    Hadoop vs Spark vs Flink
    那么现在让我们开始Hadoop与Spark vs Flink之间功能明智的比较之旅: 1. Hadoop vs Spark vs Flink - 数据处理 Hadoop:Apache Hadoop专为批处理而构建 ...

2018-07-02

2018-05-28

2017-12-23

2017-07-31

  • desehawk 发表了新日志 2017-7-31 18:38 (评论)
    如何用python做因子分析
    一.介绍 主成分分析在统计中的地位不言自明,而因子分析像一个孪生兄弟一样,常常和主成分分析密不可分,本帖将用最简单的叙述,越过证明,只从基本的步骤 ...

2017-06-09

2017-05-25

2017-05-16

2017-04-22

2017-04-19

  • SuperDove 发表了新日志 2017-4-19 10:47 (评论)
    NTP 服务
    装了CDH5.7.0,然后页面老是时钟同步出错,找了N个资源,不懂NTP原理,只想把这个红色的问题给解决掉,查了不少于30个网页,依旧不行,后来实行了如下步骤解决了 ...

2017-04-17

  • SuperDove 发表了新日志 2017-4-17 16:06 (评论)
    sqoop1.99.4安装
    最近因为sqoop的问题,我重装了hadoop2.6.5,然后把sqoop也重装了一下,整理文档如下,亲测有效,对了,sqoop1.99.4好像不能再hadoop2.6.5上安装,一直报莫名的 ...

2017-03-09

  • starrycheng 发表了新日志 2017-3-9 19:11 (评论)
    python 连接 hive
    由于版本的不同,Python 连接 hive 的方式也就不一样。 在网上搜索关键字 python hive 的时候可以找到一些解决方案。大部分是这样的,首先把hive 根目录下 ...

2017-02-28

2017-02-22

  • langke93 发表了新日志 2017-2-22 17:53 (评论)
    MongoDB登陆
    1.mongo 远程连接 配置mongodb.conf,注释掉bind_ip #bind_ip = 127.0.0.1 //注释此行 启用认证登陆 auth = true //将此行前的注释去掉 登陆(authen ...

2017-01-17

2017-01-13

  • Useful丶M 发表了新日志 2017-1-13 13:52 (评论)
    Flume学习笔记及案例
    flume功能 Flume是一个分布式的,可靠的,可用的,非常有效率的对大数据量的日志数据进行收集、聚集、移动信息的服务。Flume仅仅运行在linux环境下。 ...

2016-12-08

2016-11-25

2016-11-20

2016-11-09

2016-11-08

2016-10-10

2016-09-23

2016-09-16

2016-07-09

2016-07-05

  • xw2016 发表了新日志 2016-7-5 23:23 (评论)
    mapreduce复习
    今天复习了一下mapreduce工作原理,感觉还不是很清晰,百度了好几篇相关文章,小结一下。 MapReduce 角色 client:编写mapreduce程序,提交作业。 JobTra ...

2016-06-23

2016-06-17

  • xw2016 发表了新日志 2016-6-17 22:32 (评论)
    hive问题总结
    1. 启动元数据报错: hive --service metastore 报错如下: java.sql.SQLException: Unable to open a test connection to the given database. JDBC url = ...

2016-06-13

  • xw2016 发表了新日志 2016-6-13 22:33 (评论)
    sparkSQL练习(一)
    两种sparkSQL写法: 1、通过反射得到模式 // 用已有的Spark Context对象创建SQLContext对象 val sqlContext = new org.apache.spark.sql.SQLContext(sc) // ...

2016-05-29

2016-04-26

  • doscho 发表了新日志 2016-4-26 14:36 (评论)
    Mitaka 新特性
    Mitaka版本全部的组件已经都支持Keystone的V3的API接口, 表现增加 domain。 目前Horizon还不支持界面上创建和添加domain。 Group 就是把用户做成一组,一 ...

2016-04-21

2016-04-09

2016-03-28

2016-03-23

2016-03-21

2016-03-18

2016-03-10

2016-01-21

2016-01-18

2016-01-04

2015-12-30

2015-12-07

  • credit 发表了新日志 2015-12-7 11:36 (评论)
    plsql 连接不上oracle
    使用plsql 连接oracle时候,总是显示:监听程序不能解析在连接描述中给出的SERVICE_NAME,出现这个问题主要是没有配置tnsname, 在plsql软件打开后,选择Tool的per ...

2015-11-20

2015-10-09

2015-08-01

2015-06-29

  • s060403072 发表了新日志 2015-6-29 21:46 (评论)
    HBase 负载均衡
    HBase 可以根据当前集群的负载以region为单位进行rebalance。在HMaster中,后台会起一个线程定期检查是否需要进行rebalance,线程叫做BalancerChore。线程每 ...

2015-06-23

2015-06-02

2015-05-31

2015-05-06

2015-05-04

2015-04-04

2015-03-10

  • 小牛牛 发表了新日志 2015-3-10 16:24 (评论)
    Eclipse连接Hbase
    1首先学习用 maven 创建 hadoop 项目以及链接 Eclipse 测试。这部分内容可以参考 我的上篇博客 http://blog.csdn.net/tryhl/article/details/440326 ...

2015-03-03

2015-02-05

  • desehawk 发表了新日志 2015-2-5 00:00 (评论)
    hadoop多路径总结
    问题导读 1.如何将本地多个输入文件合并到hadoop中的一个文件? 2.MapReduce多路径输入,文说了几种路径模式? 目前为止知道MapReduce有 ...

2015-01-29

2015-01-27

2015-01-22

2015-01-20

2015-01-17

2015-01-14

  • songyl525 发表了新日志 2015-1-14 21:27 (评论)
    学而思面试总结
    学而思面试是感受最深的,首先做套题,都是数据结构与算法的,比如写出归并排序,并计算空间时间复杂度等。基础不好不行呀 然后是一个技术大牛面试,据说百度给 ...

2015-01-08

  • songyl525 发表了新日志 2015-1-8 21:50 (评论)
    蓝汛面试总结
    今天去蓝汛面试了,没有笔试,两个技术和我聊了聊,聊的都是原理性问题,感觉他们应用还行,节点有500多,不过hadoop人才紧缺呀

2015-01-07

2015-01-05

2015-01-03

  • desehawk 发表了新日志 2015-1-3 12:24 (评论)
    CDH5.2的Maven依赖
    之前一直结合Maven开发Hadoop2.2.0的程序,环境换成CDH5.2后报错,发现是Maven依赖库的问题。 之前一直使用 http://mvnrepository.com/ 查找maven依赖 ...

2015-01-01

2014-12-30

2014-12-26

2014-12-24

2014-12-22

  • redhat1986 发表了新日志 2014-12-22 14:10 (评论)
    大数据存储方案
    最近公司准备做hadoop平台处理各种数据:文件的、关系数据库的等等,有没有人做过这样的存储方案分享一下? 补充说明: 1.我们想做一个手机端APP数据采集、购 ...

2014-12-19

2014-12-18

2014-12-11

  • 旧收音机 发表了新日志 2014-12-11 23:26 (评论)
    pig学习笔记
    1.Pig是基于hadoop的一个数据处理的框架。 MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行。 2.Pig的数 ...

2014-12-07

2014-12-03

2014-11-28

2014-11-27

  • baipess 发表了新日志 2014-11-27 20:35 (评论)
    Hadoop问题
    Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z 怎样解决

2014-11-23

2014-11-20

2014-11-05

2014-11-04

  • desehawk 发表了新日志 2014-11-4 16:41 (评论)
    flume使用总结
    flume:时间.temp该如何去掉 1. 如果上传到hdfs中的文件想使用上传前的文件名,使用 a1.sources.r1.basenameHeader = true a1.sources.r1.basenameHeaderK ...

2014-10-07

  • bioger_hit 发表了新日志 2014-10-7 10:08 (评论)
    电商需求
    电商需求记录下来,看是否以后能够实现: 选择某电商平台上的某一个品牌,并从用户数据库中给出某段时间内,一部分用户所有相关的广告浏览记录,以及这部分 ...
  • bioger_hit 发表了新日志 2014-10-7 00:45 (评论)
    hadoop的一些疑问
    问: 1.hadoop1.0的组成是什么? 2.hadoop2.0为和变化如此大? 3.MRv1和MRv2? 4.什么是YARN? 5.什么是HDFS Federation? 答: Hadoop 1.0 ...

2014-09-15

2014-09-02

2014-08-19

  • hyj 发表了新日志 2014-8-19 02:13 (评论)
    hbase建索引的两种方式
    在二级索引的实现技术上一般有几个方案: 1. 表索引 使用单独的 hbase 表存储索引数据,业务表的索引列值做为索引表的 rowkey ,业务表的 rowkey ...

2014-07-09

2014-07-04

2014-07-02

2014-06-18

  • junzi234 发表了新日志 2014-6-18 13:56 (评论)
    接触第六天
    忙碌了一天,昨天搞了搞ca的相关东西, ca 国家ca认证中心。 ra lra 等等的。还不是很清晰。 linux学习停了2天了,心感愧疚啊。

2014-06-17

  • sstutu 发表了新日志 2014-6-17 22:54 (评论)
    hadoop家族,简练总结
    Apache Hadoop : 是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。 Apache ...
关闭

推荐上一条 /3 下一条

QQ|小黑屋|大发快3-首页 ( 京ICP备12023829号

GMT+8, 2019-5-19 18:19 , Processed in 0.452403 second(s), 16 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

返回顶部