如何使用Pandas高效读取多个CSV文件？

本文共计152个文字，预计阅读时间需要1分钟。

直接上代码，主要使用pd.concat来拼接数据框：

pythonimport pandas as pd

假设已有数据框list_datalist_data=[df1, df2, df3] # df1, df2, df3为Pandas数据框

使用pd.concat拼接数据框file_dir=./data_setconcatenated_df=pd.concat(list_data, ignore_index=True)

保存拼接后的数据框到指定目录concatenated_df.to_csv(file_dir + /concatenated_data.csv, index=False)

直接上代码，主要使用pd.concat来拼接数据帧

file_dir = "./data_set" # file directory
all_csv_list = os.listdir(file_dir) # get csv list
for single_csv in all_csv_list:
single_data_frame = pd.read_csv(os.path.join(file_dir, single_csv))
# print(single_data_frame.info())
if single_csv == all_csv_list[0]:
all_data_frame = single_data_frame
else: # concatenate all csv to a single dataframe, ingore index
all_data_frame = pd.concat([all_data_frame, single_data_frame], ignore_index=True)