pyspark.sql.DataFrame显示困惑的DataFrame.show()-换行而不是滚动。

pandas - pyspark在ipython笔记本中将数据帧显示为带有水平滚动的表格-LMLPHP

但显示pandas.DataFrame.head pandas - pyspark在ipython笔记本中将数据帧显示为带有水平滚动的表格-LMLPHP

我尝试了这些选项

import IPython
IPython.auto_scroll_threshold = 9999

from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = "all"
from IPython.display import display

但没有运气。虽然滚动条在带有jupyter插件的Atom编辑器中使用时可以工作:

pandas - pyspark在ipython笔记本中将数据帧显示为带有水平滚动的表格-LMLPHP

最佳答案

这是一种解决方法

spark_df.limit(5).toPandas().head()

虽然,我不知道此查询的计算负担。我认为limit()并不昂贵。更正欢迎。

关于pandas - pyspark在ipython笔记本中将数据帧显示为带有水平滚动的表格,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/43427138/

10-11 21:37
查看更多