Makine Öğrenmesinin Temelleri · Dijital ders notu
NLP: Tokenization, TF-IDF, Word2Vec
- Ders
- Makine Öğrenmesinin Temelleri (ELM472)
- Dönem
- 7. Dönem · 2024–2025 Güz
- Biçim
- PDF · 6 sayfa · 0,3 MB · el yazısı görünümlü LaTeX
- Orijinal not
- Ders-10.pdf
The digital notes were created from the handwritten notes with the help of Claude (Anthropic); they are meant as a supplementary resource and may contain errors. Always rely on the original notes and the official course materials.
Bu notta neler var?
- NLP (Natural language processing)
- Tokenization
- Word2Vec
- CBOW
- Skip gram / n-gram
- Global vectors for word Representation (Glove)
- Static embedding
- Benim adım Mehmet / Seq 2Seq
- Attention Mechanism
Notun metni
Düz metin olarak göster (formüller ve çizimler yoktur)
NLP (Natural language processing)
My token name is Mehmed. ?
Morfolojik gitmek istersek (şekle göre)
Benim adım Mehmet.
kelimelere bölerek word piece
→ Morfolojik gramere göre
Elimizde dokümanlar var
Tüm dokümanlarda iki kelime aynı frekansla geçmemeli
TF-IDF → baskınlığı azaltmak için
Continuous Bag of Words
Skip gram / n-gram
2 gram iki komşuluk
tersten de yapabilirim
Global vectors for word Representation (Glove)
Covid geldi yeni kelime
Benim adım Mehmet / Seq 2Seq
RNN → exploding vanishing unutma fazla
sonraki güncellemede LSTM
Bu metin kısa olmadıktan sonra context'i yakalayamıyor.
kelimeleri hidden layerle çarpıyoruz
hangi kelime ne kadar önemli
sonra dönmek yerine MLP koyuyoruz
2019BERT: Sadece Encoder , kelimeleri ayırabilirsin
BERT NLP'nin YOLO'su
BERT : Bidirectional Encoder Representations from Transformers
ELMO: Embeddings from language model
context mekanizması yok