pyspark.sql.DataFrame
显示困惑的DataFrame.show()
-换行而不是滚动。
但显示pandas.DataFrame.head
我尝试了这些选项
import IPython
IPython.auto_scroll_threshold = 9999
from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = "all"
from IPython.display import display
但没有运气。虽然滚动条在带有jupyter插件的Atom编辑器中使用时可以工作:
最佳答案
这是一种解决方法
spark_df.limit(5).toPandas().head()
虽然,我不知道此查询的计算负担。我认为
limit()
并不昂贵。更正欢迎。关于pandas - pyspark在ipython笔记本中将数据帧显示为带有水平滚动的表格,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/43427138/