pyspark 常用指令

一 环境配置

• 环境变量使用
• vim ~/.bash_profile

#SPARK VARIABLES START

export SPARK_HOME=/Users/didi/spark

export PATH=${PATH}:${SPARK_HOME}/bin

export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH

export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.10.6-src.zip:$PYTHONPATH

#SPARK VARIABLES END

二 RDD的使用

• 变换

  

  

• 动作

三 处理键值对

• 对pair RDD的变换

• 动作