我正在将当前的DataBricks Spark笔记本迁移到Jupyter笔记本,DataBricks提供了方便,美观的display(data_frame)功能以可视化Spark数据帧和RDD,但是Jupyter没有直接等效的功能(我不确定,但我认为它是DataBricks的特定功能),我尝试过:

dataframe.show()

但这是它的文本版本,当您有很多列中断时,因此,我试图找到一种比display()更好的呈现Spark数据帧的方法,而不是show()函数。是否有与此等效或替代的方法?

最佳答案

当您使用Jupyter时,请使用myDF.limit(10).toPandas()。head()而不是df.show()。而且,有时,我们正在处理多个列,该列会截断 View 。
因此,只需将您的Pandas View 列配置设置为最大值即可。

# Alternative to Databricks display function.
import pandas as PD
pd.set_option('max_columns', None)
myDF.limit(10).toPandas().head() apache-spark - 等效于或替代Jupyter的Databricks display()函数-LMLPHP

关于apache-spark - 等效于或替代Jupyter的Databricks display()函数,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/46125604/

10-11 14:48