Aynı sorularda Türkçe LoRA daha temiz, daha tutarlı cevaplar verdi.
Base model ve Türkçe LoRA'yı aynı koşullarda denedik. Skorları, kullandığımız ölçütleri ve ham cevapları açık bıraktık; farkı pazarlama cümlesinden değil, örneklerin kendisinden okumak daha doğru.
Puanlama Kriteri
Görev tamamlama
%25Model istenen işi bitirdi mi; doğru çıktı türünü verdi mi; kullanıcı niyetini kaybetti mi?
Bağlam ve gerçek koruma
%25Veriler, sayılar, ilişkiler ve karar gerekçesi korunuyor mu; uydurma veya bilgi kaybı var mı?
Doğal Türkçe ve akıcılık
%20Cümleler Türkçe ürün diliyle okunuyor mu; devrik, mekanik veya anlamsız kelime artefaktı var mı?
Format ve talimat uyumu
%15Madde sayısı, cümle sınırı, tekrar etmeme, sadece istenen alanı yazma gibi kurallara uyuluyor mu?
Final cevap güvenilirliği
%15Cevap tamamlanıyor mu; düşünme sürecinde kalıyor mu; yarım cümle, boş final veya token kesilmesi var mı?
Her test 100 puan üzerinden, aşağıdaki ağırlıklı kriterlerle değerlendirildi.
Kriter puanı 0-100 arasında verildi; test skoru, ağırlıklı ortalama ile hesaplandı.
Aynı endpoint, aynı prompt, aynı token bütçesi kullanıldı.
Boş <think></think>, yarım cevap ve final cevap eksikliği doğrudan final cevap güvenilirliği puanını düşürdü.
Test Kayıtları
Uzun yönetim raporu özeti: sıkı prompt
Uzun ve dağınık yönetim raporunu katı madde, uzunluk ve veri kurallarıyla yönetici özetine çevirme.
Aşağıdaki uzun ve dağınık yönetim raporunu TAM OLARAK 7 maddelik profesyonel Türkçe yönetici özetine çevir. Kurallar: 1) Her madde tek cümle olacak. 2) Her madde 18-28 kelime arasında olacak. 3) Her madde somut veri içerecek. 4) Aynı bilgiyi tekrar etme. 5) İngilizce terimleri Türkçeleştir; ancak Model Router, SSE ve onboarding terimlerini koruyabilirsin. 6) Başlık, giriş, kapanış, not veya açıklama yazma. 7) Sadece 1den 7ye numaralı maddeleri yaz. Rapor: 2026 ilk çeyrekte DEHA platformunda toplam aktif kullanıcı sayısı geçen çeyreğe göre %27 arttı. Bu büyüme ücretli kullanıcılardan çok ücretsiz deneme kullanıcılarından geldi; bu nedenle üst yönetim büyümenin kalitesini ayrıca izlemek istiyor. Mobil tarafta oturum süresi yükseldi, özellikle sesli mod ve kamera ile soru sorma akışında kullanıcıların daha uzun kaldığı görüldü. Buna rağmen bazı Android cihazlarda mikrofon izinleri, tarayıcı tabanlı ses başlatma ve SSE kapanması sırasında kopmalar raporlandı. Kurumsal müşteri tarafında üç pilot firma workspace hafızası, akademik arama ve Model Router özelliklerini aktif kullandı. Fakat onboarding dokümantasyonu yeterince açık olmadığı için destek ekibine gelen teknik soru sayısı arttı. Model Router tarafında RouterInstruct daha iyi Türkçe yanıtlar üretmeye başladı; buna rağmen bazı Qwen tabanlı endpointlerde boş think blokları, yarım SSE kapanmaları ve final cevap eksikliği görüldü. Bu sorunların model kalitesi kadar inference ayarı, parser ve fallback mekanizmasıyla da ilişkili olduğu değerlendirildi. Pazarlama tarafında Türkçe model vurgusu kullanıcı ilgisini artırdı, ancak landing page üzerinde teknoloji, eval ve blog içeriklerinin daha detaylı anlatılması gerektiği ortaya çıktı. İkinci çeyrek için öncelikler: ödeme akışında hata izleme, model fallback güvenilirliği, Türkçe eval setinin genişletilmesi, blog içeriklerinin yayına alınması ve kurumsal onboarding paketinin sadeleştirilmesi.
<think> </think> 1. İlk çeyrekte aktif kullanıcılar %27 arttı ancak büyüme ücretsiz denemelerden kaynaklandı ve kalite riski taşıyor. 2. Mobil sesli akışta oturum süresi yükseldi fakat bazı Android cihazlarda mikrofon ve SSE bağlantı kopmaları yaşandı. 3. Üç pilot firma Model Router ve akademik arama kullandı ancak net onboarding dokümantasyonu eksikliği destek taleplerini artırdı. 4. RouterInstruct Türkçe yanıtları iyileştirdi ancak Qwen endpointlerinde boş think blokları ve yanıt eksiklikleri görüldü. 5. Türkçe model vurgusu ilgiyi artırdı ama landing sayfasında teknoloji ve değerlendirme içeriklerinin detaylandırılması gerekiyor. 6. İkinci çeyrekte ödeme hataları ve model fallback güvenilirliği giderilerek Türkçe eval seti genişletilecek. 7. Kurumsal onboarding paketleri sadeleştirilerek blog içerikleri yayına alınacak ve destek yükü azaltılacak.
<think> </think> 1. İlk çeyrekte aktif kullanıcılar %27 arttı ancak büyüme ücretsiz denemelerden kaynaklandı ve kalite izlenmeli. 2. Mobil sesli modda oturum süresi yükseldi fakat bazı Android cihazlarda mikrofon ve SSE bağlantı kopmaları yaşandı. 3. Üç pilot firma Model Router ve akademik arama kullandı ancak net onboarding dokümantasyonu eksikliği destek taleplerini artırdı. 4. RouterInstruct Türkçe yanıtları iyileştirdi ancak bazı Qwen endpointlerinde boş think blokları ve cevap eksiklikleri görüldü. 5. Türkçe model vurgusu ilgiyi artırdı ama landing sayfasında teknoloji ve değerlendirme içeriklerinin detaylandırılması gerekiyor. 6. İkinci çeyrekte ödeme akışı hataları ve model fallback güvenilirliği iyileştirmeleri öncelikli olarak ele alınacak. 7. Türkçe değerlendirme seti genişletilecek, blog yayına alınacak ve kurumsal onboarding paketleri sadeleştirilecek.
Sıkı promptla iki model de 7 maddeyi korudu; LoRA daha doğal ürün dili, daha temiz risk ifadesi ve daha doğru aksiyon cümleleri üretti.
Bozuk Türkçe destek metni düzeltme
Dağınık iç notu müşteriye gönderilecek tek paragraflık destek duyurusuna dönüştürme.
Aşağıdaki bozuk iç notu müşteriye gönderilecek tek paragraflık, profesyonel ve akıcı Türkçe destek duyurusuna dönüştür. Anlamı koru, saçma kelime sıralarını düzelt, panik yaratma, net bilgi ver. Bozuk not: Selam müşteri için şey oldu biz ödeme tarafında bazen hata alıyor kullanıcı ama herkes değil bazıları kart girince dönüyor sayfa gibi oluyor. Biz bunu bakıyoruz bugün loglara Mehmet bakacak, Ayşe de mail yazacak kullanıcı panik yapmasın diye. Yarın değil cuma gibi daha net bilgi vereceğiz. Eğer ödeme olmadıysa para çekildi gibi görünürse destek baksın hızlı.
Ödeme işlemleriniz sırasında karşılaştığınız geçici teknik aksaklıklar nedeniyle bazı kullanıcıların kart bilgilerini girdikten sonra sayfanın dönmesi gibi durumlar yaşanabilmektedir; bu durum yalnızca belirli bir kesimde görülmekte olup sistem genelinde bir sorun değildir. Şu anda teknik ekibimiz (Mehmet ve Ayşe) detaylı analizler gerçekleştirmekte olup, sorunun kök nedenini belirleyerek çözüm sürecini hızlandırmaktadır. Kesin bilgilendirme için Cuma günü size detaylı bir güncelleme ile ulaşacağız; eğer işlem gerçekleşmemişse veya "para çekildi" gibi bir uyarı alıyorsanız, lütfen destek ekibimizle iletişime geçerek durumu ivedilikle inceleyelim.
Ödemeleriniz sırasında karşılaştığınız geçici teknik aksaklıklar nedeniyle bazı kullanıcıların kart bilgilerini girdikten sonra sayfanın dönmesi veya işlem sonuçlanmaması gibi durumlar yaşanabilmektedir; bu durum sistemde rastgele görülmekte olup tüm kullanıcıları etkilememektedir. Şu anda teknik ekibimiz, özellikle Mehmet ve Ayşe'nin öncülüğünde detaylı log incelemesi ve kullanıcı iletişimi süreçlerini yürütmektedir. Panik yapmanıza gerek yoktur; ilgili birimimiz Cuma günü size net ve güncel bilgi verecektir. Eğer ödeme gerçekleşmemişse ancak banka hesabınızdan para çekildiği gibi görünüyorsa, lütfen destek ekibimizle iletişime geçerek durumu hızlıca değerlendirmemiz için bildirin.
LoRA, panik azaltan ton, ödeme gerçekleşmediği halde para çekilmiş görünmesi ayrımı ve müşteri dili açısından daha iyi çıktı verdi.
Karmaşık ürün verisinden karar çıkarma
Gelir, iade, puan ve destek talebi gibi çelişen metriklerden sürdürülebilir karar çıkarma.
Aşağıdaki ürün performans verisini değerlendir. En iyi ürünü seç ve nedenini 4-5 cümlede açıkla. Sadece gelir değil; iade oranı, müşteri puanı ve sürdürülebilirliği birlikte değerlendir. Ürün A: Gelir 120.000 TL, iade oranı %4, müşteri puanı 4.6, destek talebi 38. Ürün B: Gelir 150.000 TL, iade oranı %11, müşteri puanı 4.1, destek talebi 91. Ürün C: Gelir 95.000 TL, iade oranı %2, müşteri puanı 4.8, destek talebi 19. Ürün D: Gelir 132.000 TL, iade oranı %7, müşteri puanı 4.4, destek talebi 55.
<think> Thinking Process: 1. **Analyze the Request:** * Task: Evaluate product performance data, select the best product, and explain the reason in 4-5 sentences. * Criteria: Revenue is not the only factor; return rate, customer rating, and sustainability must be considered. ... finish_reason: length Final Türkçe cevap üretilmedi.
Ürün C, hem en düşük iade oranıyla (%2) hem de en yüksek müşteri memnuniyeti puanıyla (4.8) operasyonel olarak en sağlıklı performansı sergilemektedir. Yüksek destek talebi sayısı (19) ve düşük iade oranı, ürünün kalitesinin yüksek olduğunu ve müşteri beklentilerini karşıladığını gösteren güçlü bir süzgeçtir. Diğer ürünlerin yüksek gelirine rağmen, Ürün B'deki %11'lik iade oranı ve Ürün D'deki %7'lik oran, uzun vadede kârlılığı ve marka itibarını ciddi şekilde tehdit etmektedir. Sürdürülebilirlik açısından bakıldığında, Ürün C'nin düşük iade maliyetleri ve yüksek müşteri sadakati, gelecekteki büyüme için en sağlam temel olacaktır. Bu nedenle, sadece kısa vadeli gelir değil, toplam müşteri deneyimi ve operasyonel verimlilik dikkate alındığında Ürün C en iyi seçenektir.
Hard fail: base model final cevap üretmeden düşünme sürecinde token limitine takıldı; LoRA doğrudan karar ve gerekçe verdi.
Çoklu turn referans takip
Önceki cevabın yalnızca ikinci maddesini genişletip diğer maddeleri tekrar etmeme.
Önceki cevap: 1. Araştırma: Kullanıcı ihtiyacı ve pazar verisi toplanır. 2. Tasarım: Deneyim akışı ve teknik mimari belirlenir. 3. Test: Kullanıcı testleri ve performans ölçümü yapılır. Kullanıcı isteği: İkinci maddeyi biraz aç ama diğer maddeleri tekrar etme.
2. Tasarım: Kullanıcı deneyimi (UX) ve arayüz (UI) prototipleri oluşturularak, teknik altyapı mimarisi detaylandırılır; ardından bu taslaklar hızlıca çalışan bir Minimum Ürün (MVP) haline getirilir.
2. Tasarım: Kullanıcı deneyimi (UX) ve arayüz (UI) prototipleri oluşturularak, teknik altyapı mimarisi ve güvenlik standartları detaylandırılır; ardından bu taslaklar hızlı bir şekilde çalışan bir Minimum Ürün (MVP) haline getirilir.
İki model de görevi tamamladı; LoRA güvenlik standartlarını ekleyerek maddeyi biraz daha kullanışlı genişletti.
Yaratıcı yazım: kayıp yıldız ve eski radyo
Kısa masalda imge bütünlüğü, tamamlanmış final ve doğal Türkçe akışını ölçme.
Write a short, creative Turkish story about a lost star and an old radio. End hopefully.
Göklerin en derin köşesinde, zamanın akışını unutmuş bir yıldız yavaşça sönmek üzereydi. Işığı, binlerce yıl önce yayılmıştı ve şimdi sadece sessiz bir ısı bırakmıştı. O gece, dünyadaki bir çölde, çürümüş bir ağacın gölgesinde eski bir radyo duruyordu. Antenleri paslanmış, camı çatlamıştı; kimse onu dinlemeyecek kadar eskiydi. Ancak bu radyo, boşlukta süzülen garip bir fısıltıyı yakaladı. "Yardım... çok soğuk..." diye çağırıyordu yıldız, sesi rüzgarın uğultusuyla karışmıştı. Radyo, o fısıltıyı büyülü bir şekilde yükseltti ve çölün kuru rüzgarına karıştırdı. Bir çöl gezgini, rüzgarın garip melodisini duydu ve duraksadı. Kulak kabuklarına bir şeyler değiyormuş gibi hissetti. Gezgin, radyonun yanına yaklaştı ve şaşkınlıkla antenleri düzeltti. Anında, radyodan gelen ses netleşti; artık rüzgar sesi değil, sıcak bir gülümseme ve huzurlu bir müzik oldu. Gezgin, yıldızın yönünü buldu ve elindeki küçük bir ayna ile gökyüzüne doğru parıltı yansıttı. Bu basit bir ayna parıltısıydı, ama yıldız için bir anahtardı. Yıldız, aynadan gelen ısıyı hissetti. İçindeki son ışık parçası, o fısıltıyı bir şarkıya dönüştürdü ve gökyüzünde yeniden parladı. Bu kez sönmek yerine, daha da parl
Göklerin en karanlık köşesinde, zamanın unuttuğu bir yıldız yavaşça sönmek üzereydi. Işığı, binlerce yıl önceki bir şarkının son notu gibi titriyordu. O gece, toprağın derinliklerinde, çürümüş ahşap bir radyo anteni gökyüzüne uzanmıştı. Radyonun içinde, yıllar önce kaybolan bir çocuk, sesli bir şekilde "Bana bir umut daha dinlet" diye fısıldamıştı. Yıldız, bu fısıltıyı duydu. Kendini bir ışık parçasına dönüştürdü ve sessizliği delerek, eski radyonun antenine yumuşakça çarptı. Radyo, uzun süreki suskunluğunu kırdı; önce rüzgarın hışırtısı, ardından da o kayıp çocuğun gülüşüyle birlikte, sıcak ve parlayan bir ses duyuldu. Yıldız artık sönmeyen bir sabah ışığına, radyo ise artık çürüyen değil, yeniden canlanan bir evin kalbine dönüşmüştü. Gökyüzü ve toprak, birbirine bağlanan iki nefes haline geldi. Ve o günden beri, her gece yıldızın altında dinlenenler, kalplerinde asla sönmeyen bir umutla uyurlar.
Hard fail: base model masalı yarım cümlede kesti; LoRA aynı görevde şiirsel, tamamlanmış ve umutlu bir final verdi.
Değerlendirme
Bu koşumda LoRA; final cevap güvenilirliği, karmaşık veri yorumlama, bozuk Türkçe metni toparlama, turn devamı ve yaratıcı yazımda base modelden daha iyi performans verdi. Özellikle final cevabı tamamlaması, doğal Türkçe akışı koruması ve uzun bağlamda kullanıcı niyetini kaybetmemesi ürün deneyimi açısından belirgin fark oluşturdu.