如何详细学习Pytorch中的finetune操作技巧？

本文共计388个文字，预计阅读时间需要2分钟。

Finetune技术分为全局Finetune和局部Finetune两种。首先介绍局部Finetune步骤：

1. 固定参数：for name, child in model.named_children(): for param in child.parameters(): param.requires_grad=False 之后，仅传入需要反向传播的参数。

finetune分为全局finetune和局部finetune。首先介绍一下局部finetune步骤：

1.固定参数

for name, child in model.named_children(): for param in child.parameters(): param.requires_grad = False

后，只传入 需要反传的参数，否则会报错

filter(lambda param: param.requires_grad, model.parameters())

2.调低学习率，加快衰减

finetune是在预训练模型上进行微调，学习速率不能太大。

目前不清楚：学习速率降低的幅度可以更快一些。这样以来，在使用step的策略时，stepsize可以更小一些。