Spark编写WordCount(scala编写)详解

本文章主要介绍了Spark编写WordCount(scala编写),具有不错的的参考价值,希望对您有所帮助,如解说有误或未考虑完全的地方,请您留言指出,谢谢! 一、创建maven项目 二、导入依赖 <!-- 定义了一些...

Spark编写wordcount(Java编写)详解

本文章主要介绍了Spark编写wordcount(Java编写),具有不错的的参考价值,希望对您有所帮助,如解说有误或未考虑完全的地方,请您留言指出,谢谢! package cn._51doit.day01; import...

Spark本地模式运行详解

本文章主要介绍了Spark本地模式运行,具有不错的的参考价值,希望对您有所帮助,如解说有误或未考虑完全的地方,请您留言指出,谢谢! //创建SparkContext val conf = new SparkConf().set...

大数据平台数据脱敏方案详解

本文章主要介绍了大数据平台数据脱敏方案,具有不错的的参考价值,希望对您有所帮助,如解说有误或未考虑完全的地方,请您留言指出,谢谢!针对数据:身份证,银行卡,手机号,mac地址,IMEI,车牌号,邮箱 select查询数据脱敏 处理步骤:...

spark sql查询hive表实现脱敏详解

本文章主要介绍了spark sql查询hive表实现脱敏,具有不错的的参考价值,希望对您有所帮助,如解说有误或未考虑完全的地方,请您留言指出,谢谢! 关于hive表查询脱敏,原理是select的时候在后台对sql进行处理,对每个...

安装hadoop-3.2.1(mac伪分布式)详解

本文章主要介绍了安装hadoop-3.2.1(mac伪分布式),具有不错的的参考价值,希望对您有所帮助,如解说有误或未考虑完全的地方,请您留言指出,谢谢! 大数据相关整理 一、安装 从官网下载hadoop包,http://m...

java代码操作hdfs文件详解

本文章主要介绍了java代码操作hdfs文件,具有不错的的参考价值,希望对您有所帮助,如解说有误或未考虑完全的地方,请您留言指出,谢谢!import org.apache.hadoop.conf.Configuration; import...

spark调优详解

本文章主要介绍了spark调优,具有不错的的参考价值,希望对您有所帮助,如解说有误或未考虑完全的地方,请您留言指出,谢谢!1、小文件 hive表生成,特别容易产生小文件问题,影响访问表性能,总结做法如下: //spark代码,repar...

区块链学习(1)密钥,公钥和地址详解

  想学好区块链不了解底层技术是不行的,目前有关区块链的学习资料还不是很多,所以我也是摸着石头过河,本人文笔拙劣,有些表达不清楚的地方还望各位多多包涵。这里所根据基本都是比特币的技术,可以参考下《精通比特币》。 这一章主要讲的是私钥,公钥...

区块链学习(2)钱包详解

比特币中的钱包并不包含比特币,只包含私钥,每一个用户有一个包含多个私钥的钱包。钱包中包含成对的私钥和公钥。用户用这些私钥来签名交易。可以说钱包是私钥的容器。 最开始的钱包只储存随机生成的私钥。这种类型的钱包被称作零型非确定钱包。从名字中就...