pyspark 常用指令

qlmx
qlmx
qlmx
50
文章
2
评论
2020年2月18日23:48:26 评论 404阅读1分1秒

一 环境配置

  • 环境变量使用
  • vim ~/.bash_profile

#SPARK VARIABLES START

export SPARK_HOME=/Users/didi/spark

export PATH=${PATH}:${SPARK_HOME}/bin

export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH

export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.10.6-src.zip:$PYTHONPATH

#SPARK VARIABLES END

二 RDD的使用

  • 变换

    pyspark 常用指令

    pyspark 常用指令

  • 动作

pyspark 常用指令

pyspark 常用指令

三 处理键值对

  • 对pair RDD的变换

pyspark 常用指令

pyspark 常用指令

pyspark 常用指令

pyspark 常用指令

  • 动作

pyspark 常用指令

  • 我的微信小程序
  • 这是我的微信小程序扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin
qlmx
  • 本文由 发表于 2020年2月18日23:48:26
  • 除非特殊声明,本站文章均为原创,转载请务必保留本文链接
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: