如何将数据框导入Pandas数据框并将其转换为字典？
我有从Spark创建的数据框，
sc = SparkContext(appName="PythonSQL")
sqlContext = SQLContext(sc)
path = os.path.join(os.environ['SPARK_HOME'], "examples/src/main/resources/people.json")
# Create the DataFrame
df = sqlContext.read.json(path)
# Register this DataFrame as a table.
df.registerTempTable("people")
# SQL statements can be run by using the sql methods provided by sqlContext
teenagers = sqlContext.sql("SELECT name FROM people")
sc.stop()
当我尝试将其导入熊猫时，
teenagers = pd.DataFrame(teenagers, columns=['name'])
我得到这个错误，
[客户端127.0.0.1:50885] PandasError：DataFrame构造函数不正确
妥善称呼！
毕竟，我只想将数据框转换为字典，
dict = teenagers.set_index('name').to_dict()
print dict
有任何想法吗？
最佳答案
可以使用toPandas方法将Spark DataFrame转换为pandas DataFrame。
关于python - Python + Pandas + Spark-如何将数据框导入Pandas数据框并将其转换为字典？，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/32042302/