我通常以以下内容开始我的火花壳：
./bin/spark-shell --packages com.databricks:spark-csv_2.10:1.2.0,graphframes:graphframes:0.1.0-spark1.6,com.databricks:spark-avro_2.10:2.0.1
我现在尝试使用Apache Toree，如何将这些库加载到笔记本上？
我尝试了以下方法：
jupyter toree install --user --spark_home=/home/eron/spark-1.6.1/ --spark_opts="--packages com.databricks:spark-csv_2.10:1.2.0,graphframes:graphframes:0.1.0-spark1.6,com.databricks:spark-avro_2.10:2.0.1"
但这似乎不起作用
最佳答案
您可以在SPARK_OPTS环境变量中指定软件包：
export SPARK_OPTS='--packages com.databricks:spark-csv_2.10:1.4.0'
修改
spark-defaults.conf也可以：echo spark.jars.packages=com.databricks:spark-csv_2.10:1.4.0 | sudo tee -a $SPARK_HOME/conf/spark-defaults.conf