如何运用pandas参数设置提升数据处理效率？

本文共计1333个文字，预计阅读时间需要6分钟。

前言：在日常生活中使用pandas的过程中，由于我们分析的数据表结构、格式上的差异，使得相同的函数或方法在不同数据上应用效果存在差异。而pandas有着一套自己的参数设置系统，可以通过以下方式调整：

1. 数据类型转换：使用`astype()`方法将数据类型转换为期望的类型，如将字符串转换为整数或浮点数。

2. 数据填充：使用`fillna()`方法填充缺失值，可以根据需要选择填充的值或使用前向填充、后向填充等策略。

3. 数据排序：使用`sort_values()`方法对数据进行排序，可以指定排序的列和排序方式。

4. 数据分组：使用`groupby()`方法对数据进行分组，可以基于某一列进行分组，并应用聚合函数。

5. 数据合并：使用`merge()`或`join()`方法将多个数据表合并，可以根据键值进行合并。

6. 数据筛选：使用`loc()`或`iloc()`方法筛选数据，可以根据条件筛选出满足条件的数据行或列。

7. 数据透视表：使用`pivot_table()`方法创建数据透视表，可以对数据进行多维度分析。

通过合理使用这些参数设置，可以更好地适应不同数据的特点，提高数据分析的效率和准确性。

前言

在日常使用pandas的过程中，由于我们所分析的数据表规模、格式上的差异，使得同样的函数或方法作用在不同数据上的效果存在差异。

而pandas有着自己的一套参数设置系统，可以帮助我们在遇到不同的数据时灵活调节从而达到最好的效果，本文就将介绍pandas中常用的参数设置方面的知识。

图1

1 设置DataFrame最大显示行数

pandas设置参数中的display.max_rows用于控制打印出的数据框的最大显示行数，我们使用pd.set_option()来有针对的设置参数，如下面的例子：

图2

在修改display.max_rows的参数值之后，我们的数据框只会显示指定行数的数据，中间的部分都会以省略号的形式显示，当我们的数据框行数较多，可以加大这个参数以显示更多行数据。

2 设置DataFrame最大显示列数

类似display.max_rows，通过修改display.max_columns我们可以调节最大显示的数据框列数（默认是20列），这在我们的数据框字段较多又想全部查看的时候很有用：

图3

3 设置每列的最大显示宽度

对于一些单元格内容长度较长的数据譬如长文本，在查看数据框时过长的部分会被简化为省略号，而通过修改display.max_colwidth参数我们可以在必要时，使得超长的部分也显示出来：

图4

4 指定小于某个数的元素显示为0

通过display.chop_threshold参数我们在不修改原始数据的情况下，指定数据框中绝对值小于阈值的数显示为0：

图5

5 格式化浮点数

通过display.float_format参数我们可以设置浮点数的显示格式，譬如这里我们给浮点数加上￥前缀并设定保留两位小数：

图6

6 设置info()方法中非缺失值检查的行数上限

针对数据框的info()方法可以帮助我们查看数据框的一些概览信息，譬如每一列对应的非缺失值个数。

但默认情况下当数据框行数大于1690784行时，再查看info()信息，会处于计算效率的考虑略去缺失值检查信息。

这时我们可以通过设置display.max_info_rows参数来提高这个上限：

图7

7 控制小数打印的精度

控制数据框中小数的显示精度除了上文提到的方法之外，还可以通过修改display.precision参数来控制，默认是6位小数：

图8

8 临时修改参数

有些时候我们只希望在某张表上进行设置参数的修改，不希望影响到之后的其他表的显示。

这时除了用pd.reset_option()对指定的参数进行复原之外，我们还可以利用with关键词配合pd.option_context以临时的方式将指定的参数作用在局部范围内：

图9

总结

到此这篇关于pandas参数设置实用小技巧的文章就介绍到这了,更多相关pandas参数设置技巧内容请搜索易盾网络以前的文章或继续浏览下面的相关文章希望大家以后多多支持易盾网络！