损失函数和优化器的定义，作用以及常见的种类
添加时间：2024-07-11
下面是一个简单的例子，演示如何设置二元分类兼容的损失函数和优化器代码。我们使用PyTorch框架来实现。
```python
import torch
import torch.nn as nn
import torch.optim as optim
class BinaryClassifier(nn.Module):
def __init__(self, input_dim):
super(BinaryClassifier, self).__init__()
self.linear=nn.Linear(input_dim, 1)
self.sigmoid=nn.Sigmoid()
def forward(self, x):
x=self.linear(x)
x=self.sigmoid(x)
return x
# 定义损失函数和优化器
criterion=nn.BCELoss() # 二元交叉熵损失函数
optimizer=optim.SGD(model.parameters(), lr=0.01) # 随机梯度下降优化器
```
在上述代码中，我们定义了一个二元分类器的模型，它包含一个线性层和一个Sigmoid函数，用于将线性输出转换为概率值。然后，我们定义了损失函数为二元交叉熵损失函数（`nn.BCELoss()`），这是用于二元分类的标准损失函数。最后，我们使用随机梯度下降（SGD）优化器（`optim.SGD()`）来更新模型的参数，以最小化损失函数。
在训练过程中，我们需要将输入数据和对应的标签传递给模型，并计算损失函数和梯度。下面是一个示例代码：
```python
# 训练模型
for epoch in range(num_epochs):
for inputs, labels in dataloader:
optimizer.zero_grad() # 梯度清零
outputs=model(inputs) # 前向传播
loss=criterion(outputs, labels) # 计算损失
loss.backward() # 反向传播
optimizer.step() # 更新参数
# 在测试集上测试模型
with torch.no_grad():
correct=0
total=0
for inputs, labels in test_dataloader:
outputs=model(inputs)
predicted=torch.round(outputs)
total +=labels.size(0)
correct +=(predicted==labels).sum().item()
print('Accuracy on test set: %d %%' % (100 * correct / total))
```
在上述代码中，我们使用了一个简单的训练循环来训练模型。在每个epoch中，我们遍历数据集中的所有样本，并计算损失函数和梯度，然后更新模型的参数。在测试过程中，我们使用训练好的模型对测试集进行预测，并计算准确率。
