Fundamentals of Machine Learning · Digital lecture note
Lecture 8 – Perceptron, backpropagation, activation functions and PyTorch
Makine Öğrenmesinin Temelleri – Perceptron, backpropagation, aktivasyon ve PyTorch
- Course
- Fundamentals of Machine Learning (ELM472)
- Semester
- Semester 7 · Fall 2024–25
- Format
- PDF · 9 pages · 0.2 MB · handwriting-style LaTeX
- Language
- Turkish
- Original note
- Ders-8.pdf
Open the PDF (0.2 MB)LaTeX source (.tex)Original handwritten note
What is in this note?
Section headings of the note (in Turkish):
- ROC curve
- sigmoid
- Back Propagation
- Derin öğrenmede katmanlar artar
Text of the note
Show as plain text (Turkish; formulas and drawings are not included)
Bu sefer iteratif olarak ilerliyoruz
sonra bunu ekleyeceğiz
geri sararak yapıyoruz
multi layer perceptron
Biz ortogonal olmalarını bekliyoruz
Böyle bir teorem var
yumuşak baz fonksiyonlarıyla mükemmel olarak tahmin edebiliriz
böyle bir sıkıntı var sonsuza giderken türev 0 o yüzden back propagation iyi çalışmaz
bu yüzden genelde softmax en son katmanda kullanılır
ax+b şeklinde göstermiyoruz
negatif tarafta yine türevi 0, dead neuron sorununa yol açıyor
nonlinearity daha az olduğu için daha fazla katman gerekiyor
Derin öğrenmede katmanlar artar
DataScaler() → Standart Scaler()
class ANNmodel(nn.Module) bunun inherit ediyoruz
torch.nn.Linear(in_features, out_features, bias=True, device=None, dtype=None)
net = nn.Sequential
def forward(self,x):
x = x.to(self.device)
out_ = F.one_hot(T.argmax(out,dim=1), num_classes= )
self.optimizer.zero_grad()
y_pred = self.forward(x)
loss = self.loss(y_pred, y)
overfit etmemek için bazı verileri düşürürüz