DataFrame.to_sql()批量导入大量数据时频繁出错怎么办？

本文共计380个文字，预计阅读时间需要2分钟。

使用 `to_sql()` 方法将 dataframe 中的数据插入数据库时，遇到系统错误 10054，提示远程主机强行关闭了一个现有连接。这可能是因为连接数限制或连接超时问题。刚开始以为是连接数或 pool 的问题，但问题似乎并未解决。以下是简化后的情况：

使用 to_sql() 方法将 dataframe 数据插入数据库，突然报错：系统错误 10054，远程主机关闭了一个现有连接。初步怀疑是连接数或 pool 问题，但未解决。

利用to_sql()方法 将dataframe 中的数据插入数据库；之前用的都没问题，这次突然报错，

system error: 10054 远程主机强迫关闭了一个现有的连接。

刚开始以为是连接数的和pool的问题，搞了半天调了半天参数还是报一样的错，

后面突然想到是不是一次性提交数据量过大造成开始测试小批量提交，错误消失了。尴尬的报错啊

# df分页插入 pageSize 超过3000就报错
count = len(df_point)
pageSize = 500
page = math.ceil(count / pageSize)
# 分批插入
for i in range(page):
start = pageSize * i
end = pageSize * (i + 1)
if end > count:
end = count
df = df_point.iloc[start:end]
# 插入POINT表 不插入索引列 如果表存在就追加记录
df.to_sql("POINT", engine, index=False, if_exists='append')