Firebase App Testing Agent: Doğal Dil ile Test

1// Firebase App Testing Agent — temel yapılandırma
2import { TestingAgent, AgentConfig } from '@firebase/testing-agent';
3 
4const agentConfig: AgentConfig = {
5  projectId: process.env.FIREBASE_PROJECT_ID!,
6  platform: 'ios',
7  device: { model: 'iPhone15Pro', osVersion: '18.0' },
8  timeout: 120_000,
9  retryOnFlake: true,
10  captureScreenshots: true,
11  captureVideo: true,
12};
13 
14const agent = new TestingAgent(agentConfig);
15 
16// Doğal dil ile test senaryosu çalıştır
17const result = await agent.run({
18  scenario: 'Giriş ekranında geçersiz şifre dene, hata mesajının göründüğünü doğrula',
19  app: './build/MyApp.ipa',
20});
21 
22console.log(`Test: ${result.status}, Süre: ${result.durationMs}ms`);

1Test Senaryosu: Kullanıcı Girişi
2 
31. Uygulamayı aç
42. "Giriş Yap" butonuna tıkla
53. Email alanına "test@example.com" yaz
64. Şifre alanına "Test1234!" yaz
75. "Giriş" butonuna bas
86. Ana sayfa yüklenene kadar bekle
97. Ekranda "Hoş geldiniz" yazısının göründüğünü doğrula
108. Profil simgesine tıkla
119. Email adresinin "test@example.com" olarak gösterildiğini kontrol et

1# firebase-test-scenarios/login-flow.yaml
2name: "Kullanıcı Giriş Akışı"
3description: "Email/şifre ile giriş ve profil kontrolü"
4platform: ios
5device: "iPhone 15 Pro"
6os_version: "18.0"
7 
8steps:
9  - action: "Uygulamayı başlat"
10  - action: "Giriş Yap butonuna tıkla"
11  - action: "Email alanına 'test@example.com' yaz"
12  - action: "Şifre alanına 'SecurePass123' yaz"
13  - action: "Giriş butonuna bas"
14  - wait: 3
15  - assert: "Ekranda 'Hoş geldiniz' metni görünür"
16  - action: "Profil sekmesine git"
17  - assert: "Email adresi 'test@example.com' olarak görünür"
18 
19on_failure:
20  - screenshot: true
21  - video: true
22  - logs: true

1# Firebase CLI ile test çalıştır
2firebase testing:agent run \
3  --app ./build/MyApp.ipa \
4  --scenario ./firebase-test-scenarios/login-flow.yaml \
5  --device "iPhone 15 Pro" \
6  --os-version "18.0"
7 
8# Sonuçları görüntüle
9firebase testing:agent results --last

1# Görsel doğrulama senaryosu
2steps:
3  - action: "Ana sayfaya git"
4  - visual_check:
5      description: "Navigasyon barı düzgün görünüyor mu?"
6      criteria:
7        - "Logo sol üstte görünmeli"
8        - "Menü ikonları sağ tarafta sıralanmış olmalı"
9        - "Arka plan rengi beyaz veya koyu tema rengi olmalı"
10        - "Hiçbir element üst üste binmemeli"
11 
12  - action: "Profil sayfasına git"
13  - visual_check:
14      description: "Profil kartı tasarımı"
15      criteria:
16        - "Avatar dairesel olmalı"
17        - "İsim ve email okunabilir boyutta olmalı"
18        - "Düzenle butonu görünür olmalı"
19        - "Dark mode'da kontrast yeterli olmalı"

1interface AccessibilityReport {
2  score: number;         // 0-100
3  issues: AccessibilityIssue[];
4  warnings: AccessibilityIssue[];
5  passed: string[];
6}
7 
8interface AccessibilityIssue {
9  type: 'missing_label' | 'low_contrast' | 'small_target' |
10        'missing_heading' | 'duplicate_id' | 'focus_trap';
11  element: string;
12  description: string;
13  severity: 'critical' | 'major' | 'minor';
14  suggestion: string;
15  wcag: string;         // WCAG 2.1 AA referansı
16}
17 
18// Örnek rapor çıktısı
19const report: AccessibilityReport = {
20  score: 78,
21  issues: [
22    {
23      type: 'low_contrast',
24      element: 'subtitle_label',
25      description: 'Metin kontrastı 2.8:1 — minimum 4.5:1 olmalı',
26      severity: 'major',
27      suggestion: 'Metin rengini #6B7280 yerine #374151 yapın',
28      wcag: '1.4.3 Contrast (Minimum)',
29    },
30    {
31      type: 'small_target',
32      element: 'settings_icon',
33      description: 'Dokunma alanı 32x32 — minimum 44x44 olmalı',
34      severity: 'major',
35      suggestion: 'Buton padding veya frame boyutunu artırın',
36      wcag: '2.5.5 Target Size',
37    },
38  ],
39  warnings: [
40    {
41      type: 'missing_heading',
42      element: 'section_title',
43      description: 'Başlık elementi heading role tanımlı değil',
44      severity: 'minor',
45      suggestion: 'accessibilityTraits = .header ekleyin',
46      wcag: '1.3.1 Info and Relationships',
47    },
48  ],
49  passed: [
50    'Tüm görsellerin alt text tanımı var',
51    'Navigasyon tutarlı ve öngörülebilir',
52    'Form alanlarının label bağlantıları doğru',
53  ],
54};

1# .github/workflows/firebase-test.yml
2name: Firebase App Testing
3 
4on:
5  pull_request:
6    branches: [main, develop]
7 
8jobs:
9  test:
10    runs-on: ubuntu-latest
11    steps:
12      - uses: actions/checkout@v4
13 
14      - name: Setup Firebase CLI
15        run: npm install -g firebase-tools
16 
17      - name: Authenticate
18        run: |
19          echo '${{ secrets.FIREBASE_SA_KEY }}' > sa-key.json
20          export GOOGLE_APPLICATION_CREDENTIALS=sa-key.json
21 
22      - name: Build App
23        run: |
24          cd android && ./gradlew assembleDebug
25 
26      - name: Run Testing Agent
27        run: |
28          firebase testing:agent run \
29            --app ./android/app/build/outputs/apk/debug/app-debug.apk \
30            --scenarios ./test-scenarios/ \
31            --format junit \
32            --output ./test-results/
33 
34      - name: Upload Results
35        uses: actions/upload-artifact@v4
36        with:
37          name: test-results
38          path: test-results/
39 
40      - name: Comment PR
41        if: github.event_name == 'pull_request'
42        uses: firebase/test-results-action@v1
43        with:
44          results-path: test-results/

1# Matrix test — 4 cihaz paralel
2firebase testing:agent run \
3  --app ./MyApp.ipa \
4  --scenarios ./test-scenarios/ \
5  --devices "iPhone 15 Pro:18.0,iPhone SE:17.0,iPad Air:18.0,iPad mini:17.0" \
6  --parallel 4

1Senaryo: Sipariş Akışı (End-to-End)
2 
31. Uygulamayı aç ve "Erkek Giyim" kategorisine git
42. İlk ürüne tıkla
53. Beden olarak "L" seç
64. "Sepete Ekle" butonuna bas
75. Sepet ikonundaki badge'in "1" gösterdiğini doğrula
86. Sepete git
97. Toplam tutarın 0'dan büyük olduğunu kontrol et
108. "Ödemeye Geç" butonuna bas
119. Teslimat adresi formunu doldur:
12   - Ad: Test Kullanıcı
13   - Adres: Atatürk Cad. No:1
14   - İlçe: Kadıköy
15   - İl: İstanbul
1610. "Devam Et" butonuna bas
1711. Kredi kartı seçeneğini seç
1812. Sipariş özet ekranında ürün adının göründüğünü doğrula

1# regression-suite.yaml
2name: "Haftalık Regresyon"
3scenarios:
4  - file: login-flow.yaml
5  - file: registration-flow.yaml
6  - file: search-product.yaml
7  - file: add-to-cart.yaml
8  - file: checkout-flow.yaml
9  - file: profile-update.yaml
10  - file: push-notification.yaml
11  - file: deep-link-handling.yaml
12  - file: offline-mode.yaml
13  - file: accessibility-audit.yaml
14 
15schedule:
16  cron: "0 2 * * 1"  # Her Pazartesi 02:00
17 
18notifications:
19  slack: "#qa-alerts"
20  email: "team@example.com"
21  on_failure_only: true