GPT, “Generative Pre-trained Transformer” ifadesinin kısaltmasıdır. Türkçede kabaca üretken, önceden eğitilmiş dönüştürücü olarak karşılanabilir. GPT; bir soruya hazır cevabı veritabanından çekmek yerine, kendisine verilen metindeki örüntülerden hareketle sıradaki token için olasılık dağılımı hesaplayan ve metni adım adım üreten bir yapay sinir ağı ailesidir.
Bu kısa tanım üç önemli fikri bir araya getirir: Model yeni içerik üretebilir; çok büyük metin koleksiyonları üzerinde daha sonra farklı görevlerde kullanılmak üzere ön eğitim görür ve sözcükler arasındaki ilişkileri Transformer mimarisiyle işler. GPT teknolojisini anlamak için yalnızca modelin ne yaptığına değil, metni nasıl temsil ettiğine ve nasıl eğitildiğine de bakmak gerekir.
GPT, önce geniş metin koleksiyonlarında dil örüntülerini öğrenen, ardından verilen bağlama göre bir sonraki tokenı tekrar tekrar tahmin ederek metin üreten Transformer tabanlı bir dil modelidir. Bilgiyi “anılar” halinde saklayan bir ansiklopedi değil, ağırlıkları içinde istatistiksel ilişkiler öğrenmiş üretken bir modeldir.
1 GPT açılımındaki üç kelime ne anlama gelir?
Generative: Üretken
GPT, yalnızca bir metni sınıflandırmak veya içindeki kelimeleri işaretlemek için tasarlanmamıştır. Bir başlangıç bağlamından devam ederek yeni metin üretir. Özet, e-posta, kod, tablo açıklaması veya soru yanıtı gibi farklı çıktılar aynı temel mekanizmayla oluşur: mevcut token dizisine uygun devamı tahmin etmek.
Pre-trained: Önceden eğitilmiş
Model belirli bir kullanıcı sorusunu görmeden önce geniş bir metin derlemi üzerinde eğitilir. Ön eğitim sırasında dilbilgisi, sözcük ilişkileri, yazı türleri ve eğitim verisinde bulunan dünya bilgisine ilişkin örüntüler modelin parametrelerine dağılmış biçimde işlenir. Daha sonra model talimat izleme, güvenlik veya uzmanlık alanları için ayrıca uyarlanabilir.
Transformer: Dönüştürücü mimari
Transformer, Vaswani ve arkadaşlarının 2017 tarihli “Attention Is All You Need” makalesinde tanıtıldı. Mimari, önceki sıralı modellerin aksine dizideki öğeler arasındaki ilişkileri attention mekanizmasıyla işleyerek eğitimde yüksek paralellik sağladı (Vaswani ve ark., 2017). GPT ailesi, Transformer'ın ağırlıklı olarak decoder bölümünü ve soldan sağa, otoregresif metin üretme yaklaşımını kullanır.
2 GPT metni nasıl görür: token ve embedding
Model, yazıyı doğrudan insanın gördüğü kelimeler şeklinde almaz. Bir tokenizer, metni token adı verilen parçalara böler. Token bazen bir kelime, bazen kelimenin bir bölümü, bir noktalama işareti veya bayt dizisi olabilir. Her token sayısal bir kimliğe çevrilir; ardından bu kimlik, modelin işleyebileceği çok boyutlu birembedding vektörüne dönüştürülür.
Tokenizer seçimi maliyeti ve kullanılabilir bağlamı etkiler. Aynı cümle farklı modellerde farklı sayıda tokena ayrılabilir. Türkçe gibi eklemeli dillerde tek bir kelime çok sayıda dilbilgisel bilgi taşıdığı için tokenizerın Türkçe verilerle uyumu ayrıca önemlidir. Bu konuyu Türkçe yapay zeka incelememizde ayrıntılı ele aldık.
3 Attention mekanizması ne yapar?
Bir cümlede her kelimenin anlamı yalnızca kendisine bağlı değildir. “Ayşe kitabı masaya bıraktı çünkü o ağırdı” cümlesindeki “o” sözcüğünün neye gönderme yaptığını anlamak, diğer sözcüklerle ilişki kurmayı gerektirir. Self-attention, dizideki her konumun başka konumlara ne ölçüde dikkat etmesi gerektiğini hesaplar.
Basitleştirilmiş biçimde her token için query, key ve valuegösterimleri üretilir. Query ile key arasındaki benzerlik dikkat ağırlığını; bu ağırlıklarla value vektörlerinin birleşimi ise bağlama duyarlı yeni gösterimi oluşturur. Multi-head attention aynı ilişkilere birden fazla temsil alanından bakar. Böylece model yakın sözcüklerin yanında daha uzaktaki bağımlılıkları da işleyebilir.
4 GPT nasıl eğitilir?
GPT'nin temel ön eğitim hedefi şaşırtıcı derecede sadedir: Önceki tokenlar verildiğinde sıradaki tokenı tahmin etmek. Modelin tahmini gerçek devamdan uzaksa hata hesaplanır; geri yayılım ve optimizasyon aracılığıyla milyarlarca parametre küçük miktarlarda güncellenir. Bu işlem çok büyük veri kümelerinde tekrarlandıkça model, metinde tekrar eden yapıları öğrenir.
Girdi: "Ankara Türkiye'nin"
Hedef: "başkentidir"
Model olasılıkları:
başkentidir %72
şehridir %11
merkezidir %6
...İlk GPT çalışması, büyük miktarda etiketsiz metin üzerinde dil modeli ön eğitimi yaptıktan sonra denetimli ince ayarın farklı dil anlama görevlerine aktarılabildiğini gösterdi. Çalışma, aynı temel Transformer modelinin görece küçük görev uyarlamalarıyla soru cevaplama, metinsel çıkarım ve sınıflandırma gibi görevlerde kullanılabileceğini ortaya koydu (Radford ve ark., 2018).
5 Sonraki token tahmini nasıl genel yeteneklere dönüşür?
Eğitim verisinde bir cümlenin devamını doğru tahmin etmek, çoğu zaman sözdizimini, konuyu, üslubu ve önceki ifadeler arasındaki ilişkiyi hesaba katmayı gerektirir. Kodun sonraki satırını tahmin etmek program yapısını; bir çözümün devamını tahmin etmek problem adımlarını; bir diyaloğu sürdürmek konuşmacı niyetini modellemeyi gerektirir. Çok sayıda örnek üzerinde aynı hedef tekrarlandığında model, farklı görevlerde kullanılabilen iç temsiller geliştirir.
GPT-3 çalışması ölçek büyüdükçe modelin, parametreleri yeniden güncellenmeden yalnızca prompt içindeki açıklama ve birkaç örnekle çeşitli görevleri yerine getirebildiğini gösterdi. Buna in-context learning denir. GPT-3 her görevde başarılı değildi; ancak tek bir otoregresif modelin sıfır, bir veya birkaç örnekle çok sayıda göreve uyarlanabilmesi önemli bir dönüm noktasıydı (Brown ve ark., 2020).
6 Ön eğitimden sohbet asistanına geçiş
Ham bir dil modeli, kullanıcının talimatını yerine getirmek yerine metni yalnızca olası biçimde devam ettirebilir. “Bu metni özetle” komutunu güvenilir şekilde izleyen bir asistana dönüşmek için ek hizalama aşamaları gerekir. Denetimli ince ayarda insan yapımı talimat-cevap örnekleri kullanılır. Tercih verisiyle eğitimde ise insanlar farklı cevapları karşılaştırır ve model daha yararlı davranışlara yönlendirilir.
InstructGPT çalışması; insan gösterimleriyle denetimli ince ayarı, insan tercihleriyle eğitilen ödül modelini ve RLHF olarak bilinen pekiştirmeli öğrenme aşamasını birlikte kullandı. Araştırmada 1,3 milyar parametreli InstructGPT çıktıları, insan değerlendirmelerinde 175 milyar parametreli temel GPT-3 çıktılarından daha fazla tercih edildi. Bu bulgu, model büyüklüğünün talimat izleme kalitesinin tek belirleyicisi olmadığını gösterir (Ouyang ve ark., 2022).
7 GPT, ChatGPT ve LLM aynı şey midir?
| Kavram | Anlamı |
|---|---|
| LLM | Büyük dil modellerinin genel sınıfıdır. Her LLM, GPT değildir. |
| GPT | Üretken ön eğitimli Transformer yaklaşımını kullanan belirli model ailesi ve mimari çizgisidir. |
| ChatGPT | GPT tabanlı modelleri sohbet arayüzü, araçlar, güvenlik ve ürün katmanlarıyla sunan bir uygulamadır. |
| Transformer | GPT dışında çeviri, görüntü, ses ve farklı dil modeli ailelerinde de kullanılan temel sinir ağı mimarisidir. |
Günlük dilde güçlü sohbet modellerinin tamamına “GPT” denmesi teknik olarak doğru değildir. Farklı kuruluşların decoder-only Transformer kullanan modelleri benzer üretim prensiplerine sahip olabilir; ancak eğitim verileri, tokenizerları, mimari ayrıntıları ve hizalama yöntemleri farklıdır.
8 Bağlam penceresi, parametre ve sıcaklık
- Parametre: Eğitim sırasında öğrenilen sayısal ağırlıklardır. Daha fazla parametre daha yüksek kapasite sağlayabilir; tek başına kalite garantisi değildir.
- Bağlam penceresi: Modelin tek istekte birlikte işleyebildiği token miktarıdır. Bu pencerenin dışındaki konuşmaları model kendiliğinden hatırlamaz.
- Temperature: Token seçimindeki rastlantısallığı etkileyen üretim ayarıdır. Eğitim bilgisi veya zekâ seviyesi değildir.
- Prompt: Modele verilen talimat ve bağlamdır. İyi prompt yardımcı olur fakat modelde bulunmayan doğrulanmış bilgiyi yaratmaz.
9 GPT neden halüsinasyon görür?
GPT'nin temel amacı doğru kaynağı bulmak değil, bağlama uygun token üretmektir. Eğitim verisindeki bir örüntüyü eksik öğrenmişse, soru belirsizse veya güncel bilgi modelin bağlamında yoksa dilbilgisel açıdan ikna edici fakat olgusal olarak yanlış bir devam oluşturabilir. Buna halüsinasyon denir.
Arama araçları, kaynakla destekleme (RAG), hesap makinesi ve kod çalıştırma gibi harici araçlar bu riski azaltır. Ancak araç sonucunun doğru seçilmesi, kaynağın güvenilirliği ve nihai cevabın kanıtla uyumu ayrıca denetlenmelidir. Özellikle sağlık, hukuk, finans ve akademik atıf gibi alanlarda GPT çıktısı tek başına kanıt kabul edilmemelidir.
10 GPT teknolojisi ne için kullanılabilir?
GPT tabanlı modeller özetleme, çeviri, soru cevaplama, kod üretme, bilgi çıkarma ve taslak hazırlama gibi birçok görevde kullanılabilir. Gerçek ürünlerde model çoğunlukla tek başına çalışmaz; dosya işleme, web arama, hafıza, yetkilendirme, güvenlik, kaynak kontrolü ve kullanıcı arayüzü gibi katmanlarla tamamlanır.
DEHA'da da farklı model aileleri; web ve akademik arama, PDF analizi, Source Studio, makale ve sunum üretimi gibi görev katmanlarıyla birlikte kullanılır. Böylece dil modeli yalnızca metin üretmez; gerektiğinde bir aracı çağırır, sonucu bağlama ekler ve kullanıcıya işlenmiş çıktı sunar. Bu çalışma biçimini teknoloji sayfasında inceleyebilir veya giriş yapmadan deneyebilirsiniz.
✦ Sonuç
GPT, internette arama yapan sihirli bir cevap makinesi değil; token dizileri üzerinde çalışan, Transformer tabanlı, önceden eğitilmiş üretken bir dil modelidir. Gücü, basit görünen sonraki token tahmin hedefinin büyük veri ve hesaplama ölçeğinde çok farklı dil görevlerine aktarılabilen temsiller oluşturmasından gelir.
Bununla birlikte akıcı dil, doğrulukla aynı değildir. GPT'nin faydalı bir asistana dönüşmesi; talimat uyarlaması, insan tercihleri, güvenlik katmanları, güncel araçlar ve kaynak doğrulaması gerektirir. Teknolojiyi doğru anlamak, hem yeteneklerini verimli kullanmayı hem de sınırlarını doğru yerde görmeyi sağlar.
Kaynakça
- Vaswani, A. ve ark. (2017). Attention Is All You Need. NeurIPS 2017, arXiv:1706.03762.
- Radford, A. ve ark. (2018). Improving Language Understanding by Generative Pre-Training.
- Radford, A. ve ark. (2019). Language Models are Unsupervised Multitask Learners.
- Brown, T. B. ve ark. (2020). Language Models are Few-Shot Learners. arXiv:2005.14165.
- Ouyang, L. ve ark. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
Bu yazı 12 Temmuz 2026 tarihinde hazırlanmıştır. Teknik kavramlar okunabilirlik için sadeleştirilmiş; kaynaklar birincil araştırma makalelerine bağlanmıştır.