我正在将当前的DataBricks Spark笔记本迁移到Jupyter笔记本,DataBricks提供了方便,美观的display(data_frame)功能以可视化Spark数据帧和RDD,但是Jupyter没有直接等效的功能(我不确定,但我认为它是DataBricks的特定功能),我尝试过:
dataframe.show()
但这是它的文本版本,当您有很多列中断时,因此,我试图找到一种比display()更好的呈现Spark数据帧的方法,而不是show()函数。是否有与此等效或替代的方法?
最佳答案
当您使用Jupyter时,请使用myDF.limit(10).toPandas()。head()而不是df.show()。而且,有时,我们正在处理多个列,该列会截断 View 。
因此,只需将您的Pandas View 列配置设置为最大值即可。
# Alternative to Databricks display function.
import pandas as PD
pd.set_option('max_columns', None)
myDF.limit(10).toPandas().head()
关于apache-spark - 等效于或替代Jupyter的Databricks display()函数,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/46125604/