about云开发

 找回密码
 立即注册

QQ登录

只需一步,快速开始

扫一扫,访问微社区

分享 elasticsearch自动按天创建索引脚本
bioger_hit 2019-5-17 13:20
elasticsearch保存在一个索引中数据量太大无法查询,现在需要将索引按照天来建,查询的时候关联查询即可 有时候es集群创建了很多索引,删不掉,如果是测试环境或者初始化es集群(清空所有数据),可以直接关掉elastic进程,然后删除nodes下面的所有数据,再次启动集群即可,记录一下避免忘记 导出mapping信息放到/ro ...
6 次阅读|0 个评论
分享 Hbase如何将hfile二进制文件转换为文本txt格式
nettman 2019-5-14 19:56
我们知道hbase文件hfile直接是不能阅读的,我们如何转换为可以阅读的格式 通过命令 hbase org.apache.hadoop.hbase.io.hfile.HFile -f hdfsHfilepath -p -b -m -v hdfsHfilepath 写成你要查看的路径
17 次阅读|0 个评论
分享 centos7 ssh权限过高反而不能成功
阿飞 2019-5-10 08:39
我们在安装ssh的时候,权限都授权为777,还是不能成功。按照下面的方式权限 sudo chmod 700 ~/.ssh sudo chmod 644 ~/.ssh/authorized_keys 每台都改下,然后重启 ssh成功,因此我们要注意权限问题
32 次阅读|0 个评论
分享 mysql Your password does not satisfy the current policy requirements问题的解决办 ...
nettman 2019-5-3 11:39
mysql Your password does not satisfy the current policy requirements问题的解决办 ...
在搭cdh执行命令:/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hs201 -uroot -proot_pwd_123 --scm-host s201 scm scm scm,初始化cm的时候,一直报:java.sql.SQLException: Your password does not satisfy the current policy requirements这个错 通过mysql shell修改了policy ,可是依然 ...
51 次阅读|0 个评论
分享 什么是匿名内部类
pig2 2019-4-30 15:23
什么是匿名内部类: 对于Java的匿名内部类还是比较难以理解的。甚至在阅读代码中,我们可能都不能阅读出这事匿名内部类。这里总结下: 匿名内部类一般是接口和抽象类。 他们的使用匿名内部类的时候,都会使用new。 也就是说当你看到一个接口或则抽象类,在前面加一个new的时候,这个可能就是内部类的实现。 ...
57 次阅读|0 个评论
分享 Spark处理多少数据是否需要多少内存
jixianqiuxue 2019-4-30 12:40
Spark处理1Tb数据不需要1Tb的内存。 具体需要多少内存是根据executor的core数量和每次读取数据集的block大小决定的。以读取hdfs上1tb大文件为例:若每个block大小为128mb,则一共有8192个block,产生的task也有8192个。假如executor的core为2,内存为1g,则executor同时可运行2个task,此时每个task可获得的堆内存最大约为1 ...
58 次阅读|0 个评论
分享 producer如何发送数据集及副本间是如何复制数据的
阿飞 2019-4-29 18:43
Producer向kafka发送消息的步骤: 1,一条record过来时,首先根据topic向kafka申请这个topic的元数据,包括topic每个partition存储在哪个broker上(Ip地址端口号)。 2,拿到元数据后,根据producer的partioner进行数据分区。默认是hashpartitioner,根据key的hash值分到对应的partition中。如果key为null则轮询发送 ...
57 次阅读|0 个评论
分享 大数据之进程出现process information unavailable
hyj 2019-4-28 20:02
大数据之进程出现process information unavailable
1.在/tmp目录下还有没有这些目录,把所有安装对应进程的客户端都删掉这些文件将爱 2.出现的进程号也删掉 即可解决
72 次阅读|0 个评论
分享 hbase按行分region,再按列族分store,为什么store内有若干HFile,为啥不存成1个HFile
s060403072 2019-4-25 18:49
微信群讨论经典记录: hbase按行分region,再按列族分store,为什么store内有若干HFile,为啥不存成1个HFile hbase的写操作:首先写入到表中region的columnfamily对应的store的memstore。当一个region的所有memstore大于hbase.hregion.memstore.flush.size时,则会把Memstore的数据写出到hdfs中,也就是hfile。 一 ...
65 次阅读|0 个评论
分享 Cloudera下载100%,重回%0,如此反复的原因是什么
s060403072 2019-4-24 17:01
Cloudera下载100%,重回%0,如此反复的原因是什么
About云微信群中老铁遇到问题,Cloudera下载100%,重回%0,如此反复的原因,原来是因为权限导致。 换成用户:cloudera-scm即可 也就是说可能用户权限导致的
70 次阅读|0 个评论
关闭

推荐上一条 /3 下一条

QQ|小黑屋|大发快3-首页 ( 京ICP备12023829号

GMT+8, 2019-5-19 19:12 , Processed in 0.307013 second(s), 15 queries , Gzip On.

Powered by Discuz! X3.2 Licensed

返回顶部