Test yazmak çoğu geliştiricinin en az sevdiği iş. Google'ın Firebase App Distribution'a eklediği App Testing agent, bu işi kısmen değiştiriyor: Gemini destekli bu ajana "Giriş Yap butonuna tıkla, email alanına test@example.com yaz" gibi doğal dil hedefleri tanımlıyorsun, ajan da bu hedeflere ulaşmak için uygulamanda gerçek veya sanal bir cihaz üzerinde aksiyonlar (tıklama, yazma, kaydırma) üretip çalıştırıyor. Bu yazıda özelliğin gerçekte ne yaptığını, nasıl yapılandırıldığını, CLI komutlarını ve bilinen sınırlamalarını resmi Firebase dokümantasyonuna dayanarak ele alıyoruz.
💡 Not: Firebase App Testing agent şu an preview (önizleme) aşamasında ve resmi dokümantasyonu şu an için Android odaklı. Bu yazının temel akışı Şubat 2026 itibarıyla yazıldı; YAML tabanlı testleri çalıştıranapptesting:executekomutu Mart 2026'da, sonuçları özel bir depoya yazan--results-bucketbayrağı ise Haziran 2026'da eklendi (ayrıntı: yazının sonundaki Güncelleme bölümü). Resmi rehber: App Testing agent (Android). Preview özellikler Firebase'in SLA ve deprecation politikalarına tabi değildir; özellik değişebilir veya kaldırılabilir.
İçindekiler
- App Testing Agent Nedir?
- Gereksinimler, Platform Desteği ve Kota
- Test Senaryosu Yazma: YAML ve Console
- CLI ile Test Çalıştırma
- Çalışma Prensibi: Ajan Aksiyonları Nasıl Üretiyor?
- Test Sonuçları ve Hata Ayıklama
- CI/CD Entegrasyonu
- App Testing Agent vs Android Automated Tester
- Sınırlamalar
- Sonuç ve Öneriler
App Testing Agent Nedir?
Firebase App Testing agent, Firebase App Distribution içinde çalışan; test senaryosu üretme, yönetme ve çalıştırma işlerini Gemini in Firebase ile yapan bir ajan. Sen test _hedeflerini_ doğal dilde tanımlıyorsun (ör. "profil ekranına git ve isim alanının dolu olduğunu doğrula"), ajan bu hedefe ulaşmak için bir aksiyon planı üretip uygulamanı gerçek/sanal bir cihazda çalıştırarak adım adım uyguluyor, sonunda geçti/kaldı sonucunu ekran görüntüleriyle birlikte raporluyor.
Geleneksel Test vs AI Test Agent
Özellik | XCTest / Espresso | Firebase App Testing agent |
|---|---|---|
Test Yazma | Kod yazman gerekir | Doğal dil hedefi (YAML veya console) |
Bakım | UI değişince testler kırılır | Ajan hedefe göre yeniden yol bulmaya çalışır |
Aksiyonlar | Her etkileşimi kendin kodlarsın | tap, metin girme, 4 yönlü kaydırma, long press, drag-and-drop, geri, bekleme |
Durum | Olgun, yaygın | Preview — SLA yok, değişebilir |
Platform | Her platform için ayrı framework | Resmi doküman Android odaklı |
Maliyet | Cihaz farm ücreti ayrı | Preview'da ücretsiz, aylık kota dahilinde |
Geleneksel test stratejilerini iOS Clean Architecture yazımızda, CI/CD otomasyon altyapısını da CI/CD Pipeline rehberimizde ele almıştık.
🔍 Pro Tip: App Testing agent, mevcut unit/UI test piramidinin _yerine_ değil, _üstüne_ ekleniyor — E2E/keşifsel katmanda vakit kazandırıyor. Mobile Testing yazımızdaki test piramidiyle birlikte düşün; unit testler hâlâ kritik.
Gereksinimler, Platform Desteği ve Kota
Gereksinimler
- Firebase projesine kayıtlı bir uygulama ve App Distribution'a yüklenmiş en az bir derleme (build).
- Uygulamanın paket adı (
applicationId/bundle ID), dağıtılan derlemeyle birebir ve büyük/küçük harfe duyarlı eşleşmeli; bu ad kayıttan sonra değiştirilemiyor. - Başka bir Firebase ürünü kullanmıyorsan uygulamana herhangi bir Firebase SDK'sı eklemen gerekmiyor — yalnız proje ve uygulama kaydı yeterli.
- CLI'dan çalıştırmak için
firebase login, bir servis hesabı veya CI ortamları içinfirebase login:ciile kimlik doğrulama.
Platform durumu
Resmi kavramsal dokümantasyon ("App Testing agent" sayfası) şu an yalnızca Android için yazılmış; cihaz belirteçleri de Android'e özgü (model=shiba,version=34 gibi model + API seviyesi formatında). Firebase'in iOS CLI dağıtım dokümanında da aynı test bayrakları (--test-devices, --test-username, --test-non-blocking vb.) listeleniyor, bu da CLI tarafında iOS desteğinin de devreye girdiğine işaret ediyor; ama ayrı, kavramsal bir "App Testing agent (iOS)" rehberi henüz yok. Web desteğiyle ilgili resmi dokümantasyonda bir bilgi bulunmuyor. Yani bugün için güvenle dayanabileceğin, tam belgelenmiş platform Android; iOS'u deneyecek olsan bile bunu preview'ın değişebilir bir parçası olarak gör.
Kota ve maliyet
- Preview sırasında ücretsiz, ama aylık kotaya tabi: proje başına varsayılan ayda 200 test.
- Bir test senaryosunun birden fazla cihazda çalıştırılması her cihaz için ayrı sayılıyor (2 senaryo × 2 cihaz = 4 test).
- Kotayı artırmak için Firebase Support ile iletişime geçmen gerekiyor.
- Sonuçları özel bir Cloud Storage bucket'ına yazdırırsan (
--results-bucket) o depolama için normal Cloud Storage ücretlendirmesi uygulanıyor.
Test Senaryosu Yazma: YAML ve Console
Test senaryosu tanımlamanın iki yolu var: YAML dosyası (versiyon kontrolüne uygun) veya doğrudan Firebase console.
YAML Formatı
1# tests/login-flow.yaml2tests:3 - displayName: "Kullanıcı girişi"4 id: login-flow5 steps:6 - goal: "Giriş Yap butonuna dokun"7 - goal: "Email alanına 'test@example.com' yaz"8 - goal: "Şifre alanına 'Test1234!' yaz"9 hint: "Şifre alanı genelde gizli karakterlerle gösterilir"10 - goal: "Giriş butonuna dokun"11 finalScreenAssertion: "Ana sayfada 'Hoş geldiniz' metni görünüyor"12 13 - displayName: "Profil kontrolü"14 id: profile-check15 prerequisiteTestCaseId: login-flow16 steps:17 - goal: "Profil sekmesine git"18 finalScreenAssertion: "Email adresi 'test@example.com' olarak gösteriliyor"Önemli noktalar:
- Her test senaryosu bir
displayNameve sıralı birstepslistesinden oluşuyor;idalanı opsiyonel — yalnızca bir senaryoyuprerequisiteTestCaseIdile başka bir senaryodan referans vermek istediğinde gerekiyor. - Her adımda zorunlu bir
goal(doğal dilde hedef), opsiyonel birhint(ajana ipucu) ve opsiyonel birfinalScreenAssertion(o adımın sonunda ekranda doğrulanacak durum) var. prerequisiteTestCaseIdile bir senaryoyu başka birinin ön koşulu yaparak zincirleyebilirsin (örnekteprofile-check, öncelogin-flow'un çalışmasını bekliyor).- Testleri tek dosyada toplayabilir ya da alt klasörlere bölebilirsin; CLI varsayılan olarak
./testsklasörünü özyinelemeli tarıyor.
Firebase Console Üzerinden
App Distribution sayfasında Test Cases sekmesine gidip New test case ile aynı yapıyı (isim, opsiyonel ön koşul, adım adım hedef + opsiyonel ipucu + final ekran doğrulaması) arayüzden oluşturabilirsin. Console'da oluşturduğun senaryoları appdistribution:testcases:export ile YAML olarak dışa aktarıp versiyon kontrolüne alabilir, appdistribution:testcases:import ile de YAML'dan console'a geri aktarabilirsin.
CLI ile Test Çalıştırma
İki farklı komut var: YAML'dan tanımlanan testleri doğrudan çalıştıran apptesting:execute ve console'da tanımlı test ID'lerini bir dağıtımla birlikte tetikleyen appdistribution:distribute.
firebase apptesting:execute
1# YAML test senaryolarını çalıştır2firebase apptesting:execute \3 --app 1:1234567890:android:abc123def456 \4 --test-dir ./tests \5 --test-devices "model=shiba,version=34" \6 ./build/outputs/apk/debug/app-debug.apkÖne çıkan bayraklar:
Bayrak | Açıklama |
|---|---|
--app | Zorunlu. Firebase App ID. |
--test-dir | Test YAML dosyalarının bulunduğu klasör (varsayılan ./tests). |
--test-devices / --test-devices-file | Noktalı virgülle ayrılmış cihaz tanımları ( model=...,version=...) veya bunları içeren dosya. |
--test-username / --test-password (-file varyantlarıyla) | Otomatik giriş için kullanıcı adı/şifre. |
--test-non-blocking | Sonuçları beklemeden hemen döner. |
--results-bucket | Sonuçların yazılacağı özel Cloud Storage bucket'ı. |
--test-file-pattern / --test-name-pattern | Regex ile yalnız belirli dosyaları/senaryo adlarını çalıştırır. |
Son argüman (uygulama binary'si) opsiyonel; verilmezse App Distribution'a yüklenmiş en son derleme kullanılıyor.
firebase appdistribution:distribute ile console testlerini tetikleme
1firebase appdistribution:distribute ./build/MyApp.apk \2 --app 1:1234567890:android:abc123def456 \3 --test-case-ids login-flow,profile-check \4 --test-devices "model=shiba,version=34" \5 --test-non-blockingAynı akış Gradle eklentisinde testCases/testCasesFile, fastlane eklentisinde test_case_ids/test_case_ids_file parametreleriyle de mevcut.
Çalışma Prensibi
- Hedef analizi — Senaryodaki doğal dil
goalifadeleri Gemini ile yorumlanır. - Aksiyon planlama — Ajan, ekranın accessibility bilgisini (erişilebilirlik ağacı) kullanarak hedefe ulaşacak aksiyon adımlarını üretir.
- Aksiyon yürütme — Desteklenen aksiyonlar: tap, metin girme, yukarı/aşağı/sağa/sola kaydırma, long press, drag-and-drop, geri (back), bekleme (wait).
- Doğrulama — Varsa
finalScreenAssertion, o adımın sonunda ekranı analiz ederek kontrol edilir. - Raporlama — Geçti/kaldı durumu, ekran görüntüleri ve alınan aksiyonlar sonuç ekranına yazılır.
🔍 Pro Tip: Ajan elemanları bulmak için uygulamanın accessibility bilgisine bakıyor. SwiftUI/Compose tarafındaaccessibilityLabel/contentDescriptiongibi alanları düzgün tanımlamak hem gerçek kullanıcılar hem de ajan için eleman bulmayı kolaylaştırır — ama bu, App Testing agent'ın resmi olarak ayrı bir "erişilebilirlik skoru" ürettiği anlamına gelmiyor (bkz. Sınırlamalar).
Test Sonuçları ve Hata Ayıklama
Sonuçları bir derlemenin App Testing agent sekmesinden görüyorsun. Her test sonucunda:
- Geçti/kaldı durumu ve varsa tespit edilen sorunlar,
- Her adımda alınan ekran görüntüleri,
- Ajanın aldığı aksiyonların listesi (AI tarafından üretilen aksiyonlar ile önceki başarılı koşumlardan replay edilen aksiyonlar ayrı simgelerle gösteriliyor),
- "Agent view" ile ajanın o an ekranda tespit ettiği elemanların (accessibility bilgisine dayalı) görünümü
yer alıyor. Bu replay mekanizması sayesinde daha önce başarıyla tamamlanmış adım dizileri bir sonraki koşuda daha hızlı ve tutarlı şekilde tekrarlanabiliyor.
CI/CD Entegrasyonu
Firebase CLI zaten CI ortamlarında kullanılabildiği için apptesting:execute veya appdistribution:distribute --test-case-ids komutlarını GitHub Actions gibi pipeline'lara eklemek kolay.
1# .github/workflows/firebase-test.yml2name: Firebase App Testing3 4on:5 pull_request:6 branches: [main, develop]7 8jobs:9 test:10 runs-on: ubuntu-latest11 steps:12 - uses: actions/checkout@v413 14 - name: Setup Firebase CLI15 run: npm install -g firebase-tools16 17 - name: Authenticate18 run: |19 echo '${{ secrets.FIREBASE_SA_KEY }}' > sa-key.json20 echo "GOOGLE_APPLICATION_CREDENTIALS=$PWD/sa-key.json" >> "$GITHUB_ENV"21 22 - name: Build App23 run: cd android && ./gradlew assembleDebug24 25 - name: Run App Testing agent26 run: |27 firebase apptesting:execute \28 --app ${{ secrets.FIREBASE_APP_ID }} \29 --test-dir ./tests \30 --test-devices "model=shiba,version=34" \31 ./android/app/build/outputs/apk/debug/app-debug.apk32 33 - name: Upload artifacts34 if: always()35 uses: actions/upload-artifact@v436 with:37 name: firebase-test-logs38 path: ./firebase-debug.logNot: apptesting:execute varsayılan olarak testler bitene kadar bekler ve herhangi bir senaryo başarısız olursa hata koduyla çıkar — bu, PR'ı kırmak için yeterli. --test-non-blocking ile asenkron çalıştırıp sonuçları ayrıca console'dan veya --results-bucket üzerinden kontrol etmek de mümkün; bu yazı yazılırken Firebase'in resmi bir "PR'a sonuç yorumu bırakan" GitHub Action'ı dokümante edilmiş değil, bu yüzden böyle bir adımı pipeline'ına eklemeden önce kendi ihtiyacına göre (ör. test sonucu JSON/loglarını okuyup yorum bırakan kendi script'in) kur.
App Testing Agent vs Android Automated Tester
Firebase dokümantasyonunda ayrı başlık altında anılan Android Automated Tester aslında rakip/ayrı bir araç değil — resmi sayfanın kendi ifadesiyle: _"The Automated Tester feature is now built into the App Testing agent."_ Yani ikisi, aynı akışın içindeki iki farklı test tipi:
Test tipi | Nasıl tanımlanır | Yöntem |
|---|---|---|
Senin yazdığın test (bu yazının konusu) | Doğal dil goal adımları (YAML veya console) | Gemini ile hedefe yönelik aksiyon planlama |
Random crawl | Firebase console'da test tipini değiştirerek seçiyorsun, adım yazmıyorsun | Uygulamayı otomatik/rastgele keşfederek crash/ANR arama (Automated Tester mekanizması) |
Pratikte ikisini birlikte düşün: spesifik bir akışı doğrulamak istediğinde kendi goal adımlarını yazan bir test oluştur; genel bir "uygulamayı gez, çökme var mı bak" taraması istediğinde ise aynı akışta test tipini Random crawl olarak değiştir. Not: "Robo test" ifadesi farklı bir Firebase ürünü olan Test Lab'a ait — App Testing agent/Automated Tester ile karıştırılmamalı.
Sınırlamalar
Resmi dokümantasyonda belirtilen başlıca sınırlamalar:
- Zaman aşımı — AI güdümlü bir test 5 dakika içinde tamamlanmazsa başarısız sayılıyor.
- Tutarlılık — Üretken yapısı nedeniyle sonuçlar koşumdan koşuma değişebiliyor.
- Desteklenen aksiyonlar sınırlı — yalnızca tap, metin girme, 4 yönlü kaydırma, long press, drag-and-drop, geri ve bekleme; çoklu parmak pinch/zoom gibi jestler desteklenmiyor.
- Tek adımda çok iş — bir adıma çok fazla aksiyon sıkıştırmak başarı oranını düşürüyor; adımları kısa ve odaklı tutmak gerekiyor.
- Ekran dışı kaydırma — görsel bir ipucu olmadan ekran dışındaki elemanlara kaydırmak güvenilir çalışmıyor;
hintalanıyla yönlendirme önerilir. - Sayma/tekrar — "bu işlemi 3 kez yap" gibi kesin tekrar sayıları güvenilir şekilde uygulanmıyor.
FLAG_SECURE— bu bayrağı açan ekranlar ajana boş görünür, dolayısıyla ajan o ekranlarda gezinemez.- Erişilebilirlik skoru veya piksel-bazlı görsel regresyon — resmi dokümantasyonda App Testing agent'a özgü ayrı bir WCAG/kontrast skoru ya da ekran görüntüsü karşılaştırma (visual regression) özelliği yok; bu tür ihtiyaçlar için ayrı araçlar (ör. Android Accessibility Scanner, kendi screenshot-diff script'in) kullanman gerekiyor.
Sonuç ve Öneriler
Firebase App Testing agent, doğal dil ile tanımlanmış akışları gerçek/sanal cihazlarda otomatik çalıştırarak E2E test yazma eşiğini düşürüyor — özellikle QA mühendisi olmayan kişilerin de senaryo yazabilmesini sağlıyor. Ama şu an preview'da, resmi olarak Android için belgelenmiş, aylık 200 test kotası var ve pixel-perfect görsel karşılaştırma ya da erişilebilirlik skorlama gibi iddialı özellikler içermiyor. Mobile Testing yazımızdaki test piramidiyle birlikte, unit/entegrasyon testlerinin yerine değil üstüne bir katman olarak değerlendirmek en doğrusu.
Öneriler
- Unit testleri bırakma — App Testing agent E2E/keşifsel katman için; unit testler hâlâ kritik. TDD yazımızdaki yaklaşımla birleştir.
- Accessibility alanlarını düzgün tanımla — ajanın elemanları bulması, gerçek kullanıcıların erişilebilirliği kadar buna da bağlı.
- Senaryoları kısa tut — adım başına tek, net bir hedef; uzun zincirler yerine
prerequisiteTestCaseIdile ayrı senaryolar bağla. - Kotayı takip et — proje başına aylık 200 test sınırını CI'da gereksiz tekrar koşumlarla tüketme.
- CI/CD'ye entegre et — her PR'da otomatik koşsun. Firebase Advanced altyapısı ile güçlendir.
Güncelleme (Ekim 2026)
Bu yazının yayın tarihinden (13 Şubat 2026) sonra firebase-tools'a birkaç ilgili CLI özelliği eklendi: YAML tabanlı testleri doğrudan çalıştıran apptesting:execute komutu Mart 2026'da (firebase-tools 15.11.0), sonuçları özel bir Cloud Storage bucket'ına yazan --results-bucket bayrağı ise Haziran 2026'da (firebase-tools 15.20.0) geldi; yukarıdaki CLI ve YAML bölümleri bu eklemeleri de yansıtıyor. Platform kapsamı (Android odaklı) ve kota (aylık 200 test) tarafında yayın tarihinden bu yana duyurulmuş bir değişiklik yok; özellik 15 Ekim 2026 itibarıyla hâlâ preview aşamasında ve resmi kavramsal rehber hâlâ Android odaklı. Preview bir özellik olduğu için canlıya almadan önce güncel durumu resmi sayfadan teyit etmen önerilir.
Etiketler
iOS Geliştirme Haberleri
Haftalık Swift tips, SwiftUI tricks ve iOS best practices. Spam yok, sadece değerli içerik.
Onay e-postasındaki bağlantıyı açıp “Aboneliğimi onayla” düğmesine bastığında aboneliğin başlar. Bültende açılma/tıklama istatistikleri tutulur; dilediğin an tek tıkla ayrılabilirsin. Gizlilik
