İstanbul
Uygulama Ölçeklendirme Sorunları ve Çözümleri

Uygulama Ölçeklendirme Sorunları ve Çözümleri

Uygulama ölçeklendirme sorunları, trafikten ziyade model yavaşlamalarıyla ilgili olabilir; bu makale, yaşanan zorlukları ve çözüm yollarını detaylandırıyor.

Kısa Özet

Uygulama ölçeklendirme sorunları, trafikten ziyade model yavaşlamalarıyla ilgili olabilir; bu makale, yaşanan zorlukları ve çözüm yollarını detaylandırıyor.

Uygulama Ölçeklendirme Sorunları ve Çözümleri

People standing before a tall black server rack with glowing green lights at a technology conference

Uygulama ölçeklendirme genellikle trafikle ilgili sanılır. Ancak bir metin tarama uygulamasında yedi hafta süren bir sorun yaşandı. Bazı taramalar başarısız oldu. Bu durumun trafikle ilgisi yoktu. Model yükseltmesi taramaları yavaşlattı. Sistem modelin hızlı olacağını varsaydığı için yavaşlama her yerde kendini gösterdi.

Bu olay, genel mekanikleriyle birlikte incelendi. Üretim sayıları izleme ve commit geçmişinden alındı. Aritmetiği göstermek için uydurma sayılar kullanıldığında bu belirtildi.

Temel Terimler ve Kavramlar

Ölçeklenebilirlik, kaynak eklemenin orantılı olarak daha fazla verim sağlayıp sağlamadığıdır. Yani saniyede daha fazla işin tamamlanması anlamına gelir. Bu, gecikmeyi kötüleştirmemelidir. Güvenilirlik ise sistemin bir kısmı arızalıyken bile doğru yanıtları makul sürede vermesidir.

Dışarıdan bakıldığında bu iki kavram benzer görünür. Aşırı yüklenmiş bir sistem veya takılı kalmış bir bağımlılık aynı zaman aşımını üretir. Aynı hata mesajını ve gösterge tablosunda aynı kırmızı çizgiyi verir. Bu nedenle “ölçeklenemiyor” ifadesi, yükle ilgisi olmayan arızalar için de kullanılır.

Bazı ek terimler konuyu daha iyi açıklar:

  • Gecikme (Latency): Bir dağılım olarak okunur. P50 tipik isteği, p99 ise yüz kullanıcıdan birinin yaşadığı durumu gösterir.
  • Doygunluk (Saturation): Kuyrukta bekleyen işi ifade eder. Bu, bir şeyin ne kadar meşgul olduğu olan kullanımdan farklıdır.
  • Dikey Ölçeklendirme (Vertical Scaling): Daha büyük bir makine kullanmak demektir.
  • Yatay Ölçeklendirme (Horizontal Scaling): Daha fazla makine eklemektir. Bu, yalnızca darboğaz eklediğiniz şeyse yardımcı olur.

İki önemli formül vardır. Little Yasası, uçuşta olan istek sayısının varış hızı çarpı gecikmeye eşit olduğunu belirtir. Ayrıca rastgele varışlarla tek bir sunucu için ortalama yanıt süresi, hizmet süresi bölü bir eksi kullanımdır. Bu, %50 meşgulken hizmet süresinin iki katı, %80’de beş katı ve %90’da on katıdır. Bu eğri, %70’te iyi görünen bir sistemin %90’da neden çökebileceğini açıklar.

Uygulamanın Çalışma Şekli ve Yavaşlama

Kullanıcı bir sayfanın fotoğrafını çeker. Telefon resmi yeniden boyutlandırır ve kodlar. Bir Firebase işlevi bunu bir modele gönderir. Ardından metni döndürürken kullanıcı bir dönen simge izler.

İlk sürümde OCR için Google Cloud Vision kullanıldı. Başlıklar ve düzeltmeler için ayrı bir OpenAI çağrısı yapılıyordu. Mevcut sürüm ise LLM tabanlı bir işlem hattı kullanıyor. Sayfalar sisteme girer ve JSON çıktısı dil, ham metin, düzeltilmiş sürüm, başlık ve isteğe bağlı olarak özet ile ek bilgiler içerir. Bu, iki yerine tek bir bağımlılık ve çok daha az kod demektir. Gemini-2.0-flash-lite üzerinde günlük p50 6.6–7.4 saniye, p95 ise 14–17 saniye idi. Bu süre, işlevin 60 saniyelik son teslim tarihine rahatça uyuyordu.

Ancak gemini-2.5-flash-lite modeline geçişle sayılar değişti:

Tüm İstekler, Günlük 2.0 Flash-Lite 2.5 Flash-Lite
p50 6.6–7.4 s 8–9.5 s
p95 14–17 s 20–29 s
p99 n/a Yedi hafta boyunca her gün 60 saniye

Ortalama biraz yavaşladı. Ancak asıl sorun kuyrukta yaşandı. Yedi hafta boyunca p99 her gün 60 saniyelik zaman aşımında kaldı. Hatta iki haftalık bir pencerede en az 200 tarama 59.99 saniyede 504 hatasıyla sonuçlandı.

Yeniden denemeler bu durumu daha da kötüleştirdi. Yeniden deneme mantığı hızlı bir model için uygundu. Başarısız bir çağrıyı iki kez daha deniyordu. JSON bozuk gelirse yeniden oluşturuyordu. Bu, tek bir tarama için altı adede kadar model çağrısı anlamına geliyordu. Yedi saniyelik bir çağrı zararsızdı. Ancak yavaş bir dönemde ilk deneme dakikanın çoğunu alabiliyordu. Her yeniden deneme, önceki denemenin ihtiyaç duyduğundan daha az zamanla başlıyordu.

Uygulama Ölçeklendirme İçin İki Çözüm

İlk çözüm, her isteğe bağımsız denemeler yerine bir zaman bütçesi verdi. İşlevin son teslim tarihi 60 saniyeden 300 saniyeye çıkarıldı. Bu, en yavaş başarılı taramanın yaklaşık beş katıydı. Her model çağrısı artık aynı mutlak son teslim tarihini alıyor. Her denemenin kendi üst sınırı var. Ayrıca yeniden deneme yalnızca en az 12 saniye kalmışsa başlıyor.

İkinci çözüm darboğaza odaklandı. Aynı model farklı bir uç noktada kontrol kıyaslaması yapıldı. Sonuçlar aynı derecede yavaştı. Bu, bölge sorununu eledi ve modeli işaret etti. Gemini-3.1-flash-lite modeline geçiş, tarama sürelerini yaklaşık yarıya indirdi. Bir vergi belgesi 13.6–15.5 saniyeden 7.3–12.9 saniyeye düştü. Otuz çağrıda hiçbir başarısızlık yaşanmadı.

Model Darboğazı Olduğunda Değişenler

İlginç dersler zaman aşımlarıyla ilgili değildi. Kiraladığınız bir model sisteminizdeki en yavaş şey olduğunda değişenler hakkında önemli bilgiler edinildi.

  • Yanıt şeması bir gecikme bütçesidir. Düşük çözünürlüklü görüntüler göndermek, giriş belirteçlerini %25 azalttı. Ancak gecikmeyi hiç değiştirmedi. Çünkü üretim süresi modelin ne kadar yazdığına bağlıdır. Ne kadar okuduğuna bağlı değildir. JSON’daki her alan, kullanıcı bir dönen simge izlerken modelin ürettiği metindir. Uygulama, kullanıcı özet veya içgörü istemediğinde daha küçük bir şema ister. Her yeni alan artık bir gecikme kararı olarak değerlendiriliyor.
  • Model sürümü, son kullanma tarihi olan bir kapasite değişikliğidir. Sürümleri değiştirmek, başka hiçbir kod değişmeden p95’i birkaç saniye hareket ettirdi. Zamanlamayı tam olarak kontrol edemezsiniz. Barındırılan modeller kullanımdan kaldırılır. Ayrıca yeni geçtiğim sürümün de üç aydan kısa bir süre sonra kullanımdan kaldırılması planlanmıştı. Her zorunlu geçiş aslında bir yük testidir. Bu nedenle bir sonraki aday üzerinde yeniden çalıştırabileceğiniz bir kıyaslama tutmak önemlidir.
  • Eşzamanlılık, etki alanını belirler. Varsayılan olarak, işlevin her örneği aynı anda 80 isteğe hizmet verir. Düzeltmedeki küçük bir koruma, zamanlayıcısına karşı yarışı zaten kaybetmiş bir model çağrısının geç başarısızlığını ele alır. Bu olmadan Node 22, bu hatayı ölümcül olarak değerlendirir. İşlem, uçuşta olan her taramayı da beraberinde düşürür. Yüksek eşzamanlılık para ve soğuk başlatmaları kurtarır. Ayrıca örneği, isteğin yerine, hata birimi haline getirir.
  • Yalnızca başarılı metrikler yanıltıcıdır. Yavaş dönemde, son 1.000 başarılı isteğin p99’u 26.9 saniye idi. Bu sağlıklı görünüyordu. Ancak tüm isteklerde p99 60 saniyeydi. Yalnızca başarıları ölçmek, tam da önemsediğiniz yavaş istekleri gizler. P99 zaman aşımınıza eşit olduğunda, aslında zaman aşımını ölçüyorsunuz demektir.

İç İçe Son Teslim Tarihleri

Bir sunucu son teslim tarihini artırmanın dikkate değer bir yan etkisi vardır. Android SDK’nın bu çağrılar için varsayılan zaman aşımı 70 saniyedir. Flutter’ınki ise 60 saniyedir. Bu nedenle 290 saniyelik bir sunucu bütçesiyle, uzun bir tarama telefonda başarısız olabilir. Ancak sunucu çalışmaya devam eder. Kimsenin görmeyeceği bir sonuç için ödeme yapılır. Tekrar taramaya dokunulduğunda, bir sayfa için iki üretim çalışır. Hata ayrıca sunucu hatası olarak görünmeyi bırakır. Bu nedenle yalnızca istemci kilitlenme raporlarında ortaya çıkar.

Çözüm, sayıları hizalamaktır. İstemci zaman aşımı sunucu son teslim tarihinden uzun olmalıdır. Sunucu son teslim tarihi ise tüm deneme üst sınırlarından uzun olmalıdır. İstemci zaman aşımını açıkça ayarlayabilirsiniz. Veya istemcinin son teslim tarihini istekle birlikte gönderip her şeyi buna göre bütçelendirebilirsiniz. Google’ın SRE kitabı buna son teslim tarihi yayılımı adını verir.

Kitap Bilgisi: Darboğazlar ve Çözümleri

Kuyruklama: Little Yasası yavaşlığı eşzamanlılığa dönüştürür. Örneğin, saniyede 10 tarama ve her biri 8 saniye sürerse, 80 tarama uçuşta olur. Bu, bir örneği doldurmaya yeterlidir. Model 30 saniyeye yavaşlarsa, aynı trafik dört örnekte 300 uçuşta tarama anlamına gelir. Neredeyse hepsi beklemektedir. Otomatik ölçeklendirme beklemeyi absorbe eder ve bunun için fatura keser.

Çekişme: Aynı satırı veya kilidi gerektiren istekler sırayla çalışır. Örneğin, küresel bir UPDATE stats SET scans = scans + 1 işlemi kilidini 5 ms tutarsa, eklediğiniz sunucu sayısından bağımsız olarak saniyede 200 tarama ile sınırlanırsınız. Parçalanmış sayaçlar kuyruğu önler. Ayrıca olayları ekleyip daha sonra toplamak da işe yarar.

Yeniden deneme yükseltmesi: Yeniden denemeler katmanlar arasında çoğalır. Google’ın SRE kitabı, her biri dört deneme yapan üç katmanı açıklar. Bu, bir kullanıcı eylemini altta 64 denemeye dönüştürür. Hepsi bağımlılık zorlanırken tam olarak o anda gelir. Bunu kontrol altında tutmak için:

  • Yalnızca bir katmanda yeniden deneyin.
  • Kalan süreye göre yeniden denemeleri sınırlayın.
  • Rastgele gecikme (jitter) ekleyin.
  • Yeniden denemeleri bir bütçe dahilinde tutun (kitabın örneği isteklerin %10’udur).

Bağlantı limitleri sunucusuz ortamlarda sorun yaratır. Postgres varsayılan olarak 100 bağlantıya sahiptir. Üçü süper kullanıcılar için ayrılmıştır. Her örnek kendi havuzunu açar. Uygulama Postgres kullanmasa da, diyelim ki her örnekte 20 bağlantı kullanılıyor. Yavaş model senaryosu sizi altı örneğe ve 120 bağlantıya iter. 97. bağlantıdan sonraki her bağlantı başarısız olur. PgBouncer gibi bir havuzlayıcı, daha küçük havuzlar ve bağlantı limitine dayalı bir örnek sınırı bunu önler.

“Ölçeklenemez” Seçim Doğru Olduğunda

Tek bir işlev kullanmak bazen en iyi çözümdür. Tarama yolunu tek bir işlev olarak tutmak mantıklıdır. İşlem içi bir çağrı nanosaniyeler sürer. Başka bir hizmete yapılan çağrı gecikme ve yeni hata yolları ekler. Örneğin zaman aşımları, düşen bağlantılar ve diğer hizmetin kapalı olması gibi durumlar ortaya çıkar. Taramayı hizmetlere bölmek, maliyeti zaten bir model çağrısı olan bir isteğe tüm bunları ekler.

Eşzamanlı çağrılar da iyidir. Ancak taramalar genellikle istemci zaman aşımı içinde bitmelidir. Asenkron olmak bir iş deposu, idempotency anahtarları ve sonuçları geri gönderme yöntemi gerektirir. Ayrıca yeni hata modları da ekler. Örneğin bitmiş bir işin bildiriminin hiç gelmemesi gibi. Uzun çok sayfalı tarama gibi istemci zaman aşımından daha uzun sürebilecek işler için anlamlı hale gelir. Bir kuyruk darboğazı ortadan kaldırmaz. Beklemeyi kontrol ettiğiniz bir yere taşır.

İlişkisel veritabanları, işlemler, kısıtlamalar veya birleştirmeler gerekiyorsa uzun süre doğru seçim olmaya devam eder. Parçalama, parçalar arası birleştirmelerden ve işlemlerden vazgeçer. Oraya gelmeden önce bolca yeriniz vardır:

  • Sorgu planları
  • Bağlantı havuzlama
  • Okuma replikaları
  • Zamana göre bölümleme
  • Daha büyük bir örnek

Gelecek İçin Öneriler

Bir sonraki seferde yapılacaklar şunlardır:

  • Tüm istekleri ölçün. Gecikmeye başarısızlıkları dahil edin. Uç nokta başına yüzdelikleri ve bağımlılık başına zamanlamayı tutun.
  • Gecikme grafiklerini dağıtım geçmişiyle hizalayın. Bu yavaşlama, tek bir dağıtıma kadar izlendi.
  • Darboğazı bulun ve bir kontrolle aynı anda tek bir şeyi değiştirin. Ardından kullanıcıların gerçekten değiştiğini kontrol edin.
  • Sabit bir varış hızında yük testi yapın. Örneğin k6’nın sabit varış hızı özelliği kullanılabilir. Sanal kullanıcıları döngüye sokmak, sunucunuz yavaşladığında kendileri de yavaşlar. Bu, sorunu gizler; bu etkiye koordineli ihmal denir. Ardından modeli uzun gecikmeler ve 429’larla taklit edin. Zaman aşımlarının, yeniden denemelerin ve istemcinin ne yaptığını gözlemleyin.
  • Her model değişikliğini bir kapasite değişikliği gibi kıyaslayın.

Bu olayın çoğu egzotik değildi. Hızlı bir model için boyutlandırılmış ayarların daha yavaş bir modelle karşılaşmasıydı. Faydalı alışkanlık, bu sayıları yazmaktır. İç içe geçtiklerini kontrol etmektir. Ayrıca gerçek gecikme dağılımına karşı, başarısızlıklar dahil olmak üzere test etmektir.

KONUTeknoloji ↗
PaylaşX ↗
OKURLARIN GÖRÜŞLERİ

Yorumlar 0

Henüz yorum yapılmamış. İlk yorumu siz yazın.

Yorum bırakın

E-posta adresiniz yayımlanmaz. Gerekli alanlar * ile işaretlenmiştir.

0 / 1000