博客
关于我
spark1.6使用:读取本地外部数据,把RDD转化成DataFrame,保存为parquet格式,读取csv格式
阅读量:526 次
发布时间:2019-03-07

本文共 1336 字,大约阅读时间需要 4 分钟。

一、先开启Hadoop和spark

二、启动spark-shell

spark-shell --master local[2] --jars /usr/local/src/spark-1.6.1-bin-hadoop2.6/libext/com.mysql.jdbc.Driver.jar

1.读取spark目录下面的logs日志作为测试:

val alllog=sc.textFile("file:///usr/local/src/spark-1.6.1-bin-hadoop2.6/logs/*out*")

alllog.count 看看一共有347记录

2.转为为DataFrame

现在读取进来的是RDD格式,用map函数把每条记录转成一行

import org.apache.spark.sql.Rowval alllogRDD=alllog.map(x =>Row(x))import org.apache.spark.sql.types._val schemaString="line"val schema=StructType(schemaString.split(" ").map(fieldName =>StructField(fieldName,StringType,true)))val alllogDataFrame = sqlContext.createDataFrame(alllogRDD, schema)alllogDataFrame.printSchema  #打印schemaalllogDataFrame.show(false) #这里的false表示不省略,否则跟下午一样,会三点省略

到此为止,已经把RDD转化为DataFrame了。

三、把DataFrame转为为表用SQL查询

alllogDataFrame.registerTempTable("log")

sqlContext.sql("SELECT * FROM log").show()

到此就可以使用SQL了。

四、读取和存储外部数据源

1.读取json文件

 val df = sqlContext.read.format("json").load("file:///mnt/hgfs/vm/china.json")

df.printSchema

 df.select("*").write.format("parquet").mode("overwrite").save("file:///mnt/hgfs/vm/china.parquet") #保存为parquet格式

这里的mode可以有overwrite,append,ignore等模式,也可以不用。

这样就直接生产DataFrame数据,不用添加schema信息了。

对于parquet文件,还有更高级的使用方法,直接读取文件就行了

 val df = sqlContext.sql("SELECT * FROM parquet.`examples/src/main/resources/users.parquet`")

对于json里面有嵌套数组,想要展开成多行,可以在SQL中使用explode函

 

转载地址:http://osmjz.baihongyu.com/

你可能感兴趣的文章
Webpack 之 basic chunk graph
查看>>
Mysql5.7版本单机版my.cnf配置文件
查看>>
mysql5.7的安装和Navicat的安装
查看>>
mysql5.7示例数据库_Linux MySQL5.7多实例数据库配置
查看>>
Mysql8 数据库安装及主从配置 | Spring Cloud 2
查看>>
mysql8 配置文件配置group 问题 sql语句group不能使用报错解决 mysql8.X版本的my.cnf配置文件 my.cnf文件 能够使用的my.cnf配置文件
查看>>
MySQL8.0.29启动报错Different lower_case_table_names settings for server (‘0‘) and data dictionary (‘1‘)
查看>>
MYSQL8.0以上忘记root密码
查看>>
Mysql8.0以上重置初始密码的方法
查看>>
mysql8.0新特性-自增变量的持久化
查看>>
Mysql8.0注意url变更写法
查看>>
Mysql8.0的特性
查看>>
MySQL8修改密码报错ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
查看>>
MySQL8修改密码的方法
查看>>
Mysql8在Centos上安装后忘记root密码如何重新设置
查看>>
Mysql8在Windows上离线安装时忘记root密码
查看>>
MySQL8找不到my.ini配置文件以及报sql_mode=only_full_group_by解决方案
查看>>
mysql8的安装与卸载
查看>>
MySQL8,体验不一样的安装方式!
查看>>
MySQL: Host '127.0.0.1' is not allowed to connect to this MySQL server
查看>>