如何解决错误：ArrowTypeError，未通过numpy.dtype对象？

本文共计218个文字，预计阅读时间需要1分钟。

问题：我在尝试将数据框保存到Databricks上的Hadoop文件系统时，遇到了ArrowTypeError。Databricks运行时版本：+ 问题 + 我正在尝试将数据框保存为Databricks上的Hadoop文件系统，得到ArrowTypeError。+ Dat

问题我正在尝试将数据框保存为Databricks上的镶木地板文件，得到ArrowTypeError。Databricks运行时版本：

问题

我正在尝试将数据框保存为 Databricks 上的镶木地板文件，得到 ArrowTypeError。

Databricks 运行时版本：7.6 ML（包括 Apache Spark 3.0.1、Scala 2.12）

日志跟踪

ArrowTypeError: ('Did not pass numpy.dtype object', 'Conversion failed for column inv_yr with type int32')

回答

您面临的问题源于您使用的pyarrow是最新numpy1.20 版本的旧车轮。您遇到了错误“如果消费者库是使用较旧的 NumPy 版本编译的，PyArray_DescrCheck 将不再工作”。更新您的pyarrow版本或降级到numpy<1.20.

---