Kısa Eğitim Verisi LLM'lerde Bağlam Kaybına Neden Olur mu?

Bir dil modelini sürekli kısa örneklerle eğitmek, modelin yapılandırılmış context window değerini kendiliğinden küçültmez. Yapılandırmada 32K token yazıyorsa model 32K tokenlık girdiyi teknik olarak kabul edebilir. Ancak bu, girdinin tamamını etkili biçimde kullanabildiği anlamına gelmez. Model eğitim boyunca yalnızca birkaç yüz veya birkaç bin tokenlık örnekler görüyorsa uzak konumlar, uzun menzilli bağıntılar ve belge boyunca kanıt birleştirme görevleri için yeterli öğrenme sinyali alamaz.

Sonuçta kağıt üzerindeki context window ile gerçek görevlerde kullanılabilen etkin bağlambirbirinden ayrılır. Model uzun girdiyi kabul eder; fakat ortadaki kanıtı kaçırır, son bölümlere aşırı ağırlık verir, uzak iki bilgiyi bağlayamaz veya uzun belgenin yalnızca başlangıcını özetler. Bu yazı, kısa verinin ne zaman yararlı olduğunu ve ne zaman uzun bağlam yeteneğini sınırladığını teknik olarak açıklıyor.

1 Üç farklı context kavramını ayırmak gerekir

Bu ayrım kritiktir. RULER çalışması, ilan edilen context uzunluğunun etkin context ile aynı olmadığını ve birçok modelin giriş uzadıkça karmaşık retrieval görevlerinde belirgin biçimde gerilediğini gösterdi (Hsieh ve ark., 2024). Dolayısıyla yalnızca modelin 128K girdiyi hata vermeden kabul etmesi bir uzun bağlam testi değildir.

2 Kısa örneklerde model hangi sinyali kaçırır?

Maksimum örnek uzunluğu 2.048 token olan bir eğitimde 2.049'uncu ve sonraki konumlar doğrudan veri sinyali almaz. Daha önemlisi, attention katmanları on binlerce token arayla duran iki bilginin birlikte kullanılmasını öğrenemez. Model yerel dil örüntülerini, kısa talimatları ve yakın bağıntıları öğrenebilir; ancak şu yetenekler eğitim dağılımının dışında kalır:

• uzun bir raporun farklı bölümlerindeki sayıları karşılaştırmak,
• ilk bölümde tanımlanan kuralı son bölümdeki olaya uygulamak,
• çok sayıda dikkat dağıtıcı arasından birkaç kanıtı seçmek,
• birden fazla belgede zincirleme çıkarım yapmak,
• uzun konuşmada eski bir kararı yeni mesajla tutarlı biçimde sürdürmek,
• belgenin tamamını kapsayan özet veya yapılandırılmış çıktı üretmek.

LongAlign, uzun context instruction following için modelin benzer uzunlukta talimat verileriyle uyarlanması gerektiğini gösterir. Çalışmada 10K-100K aralığında uzun örnekler, verimli batching ve sequence-level loss yaklaşımı birlikte ele alınmıştır (Bai ve ark., 2024).

3 Her token aynı miktarda bağlam görmez

Causal language modeling sırasında bir dizinin ilk tokenları çok az, son tokenları ise daha fazla geçmiş token görür. 2.048 tokenlık bir örnekte yalnızca dizinin sonlarına yaklaşan tahminler yaklaşık 2K bağlamdan yararlanabilir. Örneklerin çoğu 200 token ise modelin tahminlerinin büyük bölümü bundan da kısa geçmişlerle eğitilir. Bu nedenle yalnızca max_seq_length=8192 yazmak yeterli değildir; gerçek doluluk ve tokenların gördüğü geçmiş uzunluğu ölçülmelidir.

Her tokenize örnek için kaydedin:
- token_count
- source / task türü
- prompt_tokens ve answer_tokens
- truncation uygulandı mı?
- packing sonrası gerçek doluluk

Raporlayın:
p50, p90, p95, p99
uzunluk bucket'ı başına örnek ve token oranı
1K / 4K / 8K / 16K üzerindeki örnek oranı

4 Pretraining, continued pretraining ve SFT aynı değildir

Sıfırdan ön eğitim

Modelin temel uzun bağlam davranışı ön eğitim dağılımından güçlü biçimde etkilenir. Yalnızca kısa bloklarla ön eğitim, uzun menzilli istatistiksel bağıntıları baştan sınırlı bırakır. Sonradan position scaling uygulamak daha uzun konumları adreslenebilir hale getirebilir; fakat eksik semantik uzun bağıntıyı tek başına oluşturmaz.

Continued pretraining

Hazır modeli alan metinleriyle eğitirken sürekli kısa parçalar kullanmak, modelin doküman yapısını ve alan içindeki uzak ilişkileri görmesini engeller. Özellikle mevzuat, finansal rapor, kod deposu ve akademik makale gibi yapısal belgelerde başlık-alt bölüm bütünlüğü korunmalıdır.

Supervised fine-tuning

Uzun bağlamı daha önce öğrenmiş bir base model, birkaç kısa SFT örneği gördüğü anda context window'ını kaybetmez. Fakat yüksek learning rate, çok sayıda adım ve yalnızca kısa görevlerden oluşan yoğun bir SFT; modeli kısa cevap, yakın kanıt ve son mesaja odaklanma yönünde kaydırabilir. Full fine-tuning'de tüm ağırlıklar değiştiği için risk daha geniştir. PEFT'te base ağırlıklar donsa da adapter, uzun girdideki çıktı davranışını yine bozabilir.

5 “Kısa veri kötüdür” sonucu da yanlıştır

Kısa örnekler yerel dil bilgisi, basit instruction following, sınıflandırma, format takibi ve hızlı eğitim için değerlidir. Ayrıca eğitim başında kısa sequence kullanmak hesaplama maliyetini azaltabilir. Shortformer çalışması, kısa girdilerle başlayan ve sonra uzun girdiye geçen aşamalı eğitimin bellek ve hız avantajı sağlayabildiğini; ancak ikinci aşamada yeterli uzunluğa çıkılmadığında performansın gerilediğini raporladı (Press ve ark., 2020).

Sorun kısa veri kullanmak değil; modelden uzun bağlam beklerken eğitim boyunca neredeyse yalnızca kısa veri kullanmaktır.

6 Veri uzunluğu dağılımı nasıl tasarlanmalı?

Evrensel bir “yüzde 20 uzun veri” kuralı yoktur. Doğru karışım ürün trafiğine ve hedef göreve bağlıdır. Önce gerçek isteklerin token dağılımı çıkarılmalı, sonra eğitim ve eval dağılımı bunun kritik kuyruklarını kapsamalıdır. Örneğin kullanıcıların yüzde 10'u 20K tokenlık rapor yüklüyorsa, bu azınlık örnek sayısında küçük görünse de ürün değerinde belirleyici olabilir.

Örnek oranıyla token oranı ayrı raporlanmalıdır. Tek bir 32K örnek, token bütçesinde on altı adet 2K örneğe eşdeğerdir. Uzun veriyi yalnızca örnek sayısına göre artırmak optimizer güncellemelerini beklenmedik biçimde domine edebilir. LongAlign'ın sequence-level loss yaklaşımı, farklı uzunluktaki örneklerin ağırlıklandırılması problemini özellikle ele alır.

7 Sağlam bir length curriculum

Maliyet nedeniyle eğitimin tamamını maksimum context ile yapmak zorunlu değildir. Pratik bir curriculum kısa örneklerle başlayıp orta ve uzun örneklerin oranını kademeli artırabilir. Ancak son aşamada yalnızca uzun veriye geçmek de kısa görevleri bozabilir; kısa örneklerden replay karışımı tutulmalıdır.

Örnek curriculum (evrensel reçete değildir):

Aşama 1: kısa + orta, pipeline ve temel davranış doğrulama
Aşama 2: kısa + orta + seçilmiş uzun örnekler
Aşama 3: production dağılımına yakın karma uzunluk

Her aşamada sabit tutmaya çalışın:
- effective tokens / optimizer update
- validation görevleri
- checkpoint karşılaştırma yöntemi

Tek deneyde LR, sequence length, batch ve veri karışımını
aynı anda değiştirmeyin.

8 Packing uzun context eğitimi değildir

On adet bağımsız 500 tokenlık örneği tek 5K tensöre yerleştirmek GPU doluluğunu artırır; fakat modele 5K tokenlık anlamlı bir belge öğretmez. Attention maskesi örnek sınırlarını ayırıyorsa model hâlâ bağımsız kısa örnekler görür. Sınırlar ayrılmıyorsa model alakasız belgeler arasında sahte geçişler öğrenebilir. Bu nedenle packing ile semantik uzun örnek aynı şey değildir.

Kör truncation da belgenin sonunu, cevabı veya kapanış etiketlerini kesebilir. Fewer Truncations çalışması, örnek bütünlüğünü koruyan best-fit packing yönteminin rastgele birleştirip kesmeye kıyasla uzun görevlerde avantaj sağlayabildiğini gösterir (Dong ve ark., 2024). Chat verisinde turn sınırları, EOS tokenları ve assistant loss maskesi ayrıca doğrulanmalıdır.

9 Uzun örnek gerçekten uzun bağıntı içermeli

30K tokenlık bir girdinin cevabı ilk paragrafta açıkça bulunuyorsa örnek uzun görünür ama görev yereldir. Uzun bağlam verisi; kanıtları farklı konumlara dağıtmalı, dikkat dağıtıcılar içermeli ve doğru cevap için birden fazla parçanın birleştirilmesini gerektirmelidir. Yararlı görev aileleri şunlardır:

• başlangıç, orta ve sonda değişen konumlarda kanıt retrieval,
• iki veya daha fazla uzak kanıtla multi-hop soru-cevap,
• çoklu belge karşılaştırma ve çelişki bulma,
• sayım, liste tamamlama ve toplulaştırma,
• uzun konuşmada karar, isim ve kısıt takibi,
• tüm bölümleri kapsayan özet ve kaynak eşleme.

Lost in the Middle çalışması, ilgili bilgi context'in ortasına yerleştirildiğinde performansın başlangıç veya sona kıyasla ciddi düşebildiğini gösterdi (Liu ve ark., 2023). Bu nedenle kanıt konumu sabit bırakılmamalıdır.

10 RoPE scaling tek başına çözüm değildir

Position Interpolation, RoPE tabanlı modellerin context sınırını az sayıda fine-tuning adımıyla uzatabilen önemli bir yöntemdir (Chen ve ark., 2023). PoSE ve SkipAlign ise daha kısa fiziksel dizilerde atlamalı position index kullanarak uzun konumları daha düşük maliyetle simüle eder (Zhu ve ark., 2023) ve (Wu ve ark., 2024).

Bu çalışmalar önemli bir nüans getirir: Her uzun konumu öğretmek için her örneğin tam uzunlukta tutulması şart değildir. Fakat position extension ile semantik uzun bağıntı eğitimi farklı problemlerdir. Konumları teknik olarak uzatmak; çoklu belge sentezi, uzak kanıt seçimi ve uzun konuşma tutarlılığını otomatik olarak öğretmez.

11 VRAM'i korurken uzun veri nasıl kullanılır?

• Length bucketing: Benzer uzunluktaki örnekleri aynı batch'e koyarak padding israfını azaltın.
• Dynamic batching: Örnek sayısı yerine batch başına token bütçesi belirleyin.
• FlashAttention: Desteklenen donanım ve dtype ile attention belleğini/IO maliyetini azaltın.
• Gradient checkpointing: Daha fazla hesaplama karşılığında activation belleğini düşürün.
• Sequence parallelism: Çoklu GPU'da uzun sequence yükünü uygun stratejiyle dağıtın.
• Karma curriculum: Her step'i maksimum context yapmak yerine seçilmiş uzun batch'ler kullanın.

Attention maliyeti standart yoğun attention'da sequence uzadıkça hızla büyür. LongLoRA, uzun context fine-tuning maliyetini azaltmak için shifted sparse attention ve LoRA'yı birleştirir; ayrıca uzun instruction verisinin önemini deneysel olarak vurgular (Chen ve ark., 2023). Max length, batch ve VRAM kararlarının ayrıntıları için LLM fine-tuning teknik rehberine bakabilirsiniz.

12 Uzun bağlam nasıl değerlendirilir?

Perplexity veya genel validation loss tek başına yeterli değildir. Uzun bağlam eval'i hem uzunluğa hem kanıt konumuna göre ayrılmalıdır. LongBench; tek ve çoklu belge QA, özetleme, few-shot öğrenme, sentetik görevler ve kod tamamlama dahil altı görev ailesi sunar (Bai ve ark., 2023). RULER ise basit needle testini çoklu retrieval, tracing ve aggregation görevleriyle genişletir.

Fine-tuning öncesi ve sonrası aynı matris çalıştırılmalı; kısa görev kalitesi de korunmalıdır. Böylece “uzun test arttı ama kısa instruction following düştü” veya tam tersi bir regresyon görünür hale gelir.

13 Veri pipeline'ı için kontrol listesi

1. Üretim trafiğini tokenizer ile ölçün; karakter veya sayfa sayısını token sanmayın.
2. Uzunluk histogramını kaynak ve görev türüne göre ayrı çıkarın.
3. Truncate edilen örnek oranını ve hangi alanın kesildiğini loglayın.
4. Belge, konuşma ve kod sınırlarını koruyun; rastgele parçaları anlamsızca birleştirmeyin.
5. Uzun örneklerin cevabının gerçekten uzak kanıt gerektirdiğini doğrulayın.
6. Train ve eval'de kanıt konumunu çeşitlendirin.
7. Örnek oranı yanında token oranını ve tokens/update değerini izleyin.
8. Her checkpoint'i kısa, orta ve uzun görevlerde ayrı raporlayın.

14 Sık yapılan hatalar

• max_seq_length yüksek olduğu için modelin uzun bağlam öğrendiğini varsaymak.
• Bütün örnekleri maksimum uzunluğa padding ederek gereksiz VRAM harcamak.
• Packing ile gerçek uzun belge eğitimini aynı şey sanmak.
• Uzun örneğin cevabını yalnızca ilk veya son paragraftan çıkarılabilir bırakmak.
• Metni token sınırında çat diye kesip cevabı, EOS'u veya konuşma turnünü kaybetmek.
• Needle-in-a-haystack başarısını tek uzun context kanıtı olarak sunmak.
• Yalnızca training loss'a bakıp uzunluk bazlı regression eval çalıştırmamak.

15 Sonuç

Sürekli kısa eğitim verisi, modelin config dosyasındaki context window değerini silmez. Buna rağmen modelin uzun konumlarda güvenilir retrieval yapmasını, uzak bilgileri birleştirmesini ve uzun belge boyunca tutarlılık kurmasını sınırlar. Bu nedenle gerçek problem “context kaç token?” değil, “model hangi uzunluk ve görevlerde context'i etkili kullanabiliyor?” sorusudur.

Sağlam yaklaşım; kısa veriyi terk etmek değil, production dağılımını kapsayan karma uzunluk, anlamlı uzun bağıntı, aşamalı curriculum, belge bütünlüğünü koruyan packing ve uzunluk/konum bazlı eval kullanmaktır. Genel eğitim pipeline'ı için model eğitimi rehberini, PEFT uygulamaları için PEFT rehberini okuyabilirsiniz.

Sık sorulan sorular

Kısa eğitim verisi context window'ı küçültür mü?

Yapılandırılmış maksimumu doğrudan küçültmez. Ancak uzun konum ve uzak bağıntı eğitimi eksik kaldığında modelin güvenilir biçimde kullanabildiği etkin context daha kısa olabilir.

Kısa veriyle fine-tuning uzun bağlamı bozar mı?

Her zaman değil. Risk; veri karışımı, learning rate, adım sayısı, full fine-tuning veya PEFT kullanımı ve base modelin yeteneğine bağlıdır. Öncesi-sonrası uzunluk bazlı eval yapılmalıdır.

Uzun veri oranı kaç olmalı?

Evrensel oran yoktur. Production isteklerinin token ve görev dağılımı ölçülmeli; kritik uzunluk kuyrukları train ve eval'de yeterince temsil edilmelidir.

Max sequence length her zaman en yüksek değere mi ayarlanmalı?

Hayır. Körlemesine yüksek değer padding, VRAM ve throughput kaybı yaratabilir. Token dağılımı, görev ihtiyacı, donanım ve eval birlikte değerlendirilmelidir.

PEFT uzun context regresyonunu engeller mi?

Base ağırlıkları dondurmak forgetting riskini azaltabilir; ancak adapter model çıktısını güçlü biçimde yönlendirdiği için uzun bağlam davranışını yine bozabilir. Adapter açık ve kapalı ayrı test edilmelidir.

Kaynakça

1. Bai, Y. ve ark. (2024). LongAlign: A Recipe for Long Context Alignment of Large Language Models.
2. Hsieh, C.-P. ve ark. (2024). RULER: What's the Real Context Size of Your Long-Context Language Models?.
3. Liu, N. F. ve ark. (2023). Lost in the Middle: How Language Models Use Long Contexts.
4. Bai, Y. ve ark. (2023). LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding.
5. Press, O. ve ark. (2020). Shortformer: Better Language Modeling Using Shorter Inputs.
6. Chen, S. ve ark. (2023). Extending Context Window of Large Language Models via Positional Interpolation.
7. Chen, Y. ve ark. (2023). LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models.
8. Zhu, D. ve ark. (2023). PoSE: Efficient Context Window Extension of LLMs via Positional Skip-wise Training.
9. Wu, T. ve ark. (2024). SkipAlign: Skip the Context to Align with the Future.
10. Dong, G. ve ark. (2024). Fewer Truncations Improve Language Modeling.

Bu yazı 16 Temmuz 2026 tarihinde hazırlanmıştır. Önerilen uzunluk bucket'ları örnektir; eğitim kararı model, tokenizer, veri lisansı, donanım ve gerçek ürün eval sonuçlarına göre verilmelidir.