ElevenLabs: AI Ses Klonlama ve Sentezinin Geleceği

1// ElevenLabs ses sentez pipeline (konseptüel)
2interface ElevenLabsPipeline {
3  textAnalysis: {
4    input: 'Ham metin';
5    process: 'NLP + prosody prediction + emotion detection';
6    output: 'Annotated text (vurgu, tonlama, duygu bilgisi)';
7  };
8  acousticModel: {
9    architecture: 'Transformer-based neural vocoder';
10    features: [
11      'Prosody modeling (ritim, tonlama)',
12      'Emotion synthesis (mutlu, üzgün, heyecanlı)',
13      'Breathing patterns (doğal nefes)',
14      'Filler words (ıı, hm, şey)',
15      'Cross-lingual voice transfer'
16    ];
17    output: 'Mel spectrogram';
18  };
19  vocoder: {
20    type: 'Neural vocoder (WaveNet benzeri)';
21    sampleRate: '44.1kHz';
22    bitDepth: '24-bit';
23    output: 'Yüksek kalite ses dosyası';
24  };
25}

1# ElevenLabs API ile ses klonlama
2import requests
3 
4# Adım 1: Ses örneği yükle ve klon oluştur
5url = "https://api.elevenlabs.io/v1/voices/add"
6headers = {
7    "xi-api-key": "YOUR_API_KEY"
8}
9 
10# Ses dosyası yükle
11files = [
12    ("files", ("sample1.mp3", open("sample1.mp3", "rb"), "audio/mpeg")),
13    ("files", ("sample2.mp3", open("sample2.mp3", "rb"), "audio/mpeg")),
14]
15data = {
16    "name": "Benim Sesim",
17    "description": "Türkçe profesyonel ses",
18    "labels": '{"accent": "turkish", "gender": "male", "use_case": "app_narration"}'
19}
20 
21response = requests.post(url, headers=headers, data=data, files=files)
22voice_id = response.json()["voice_id"]
23print(f"Ses klonu oluşturuldu: {voice_id}")
24 
25# Adım 2: Klonlanmış sesle konuştur
26tts_url = f"https://api.elevenlabs.io/v1/text-to-speech/{voice_id}"
27tts_headers = {
28    "xi-api-key": "YOUR_API_KEY",
29    "Content-Type": "application/json"
30}
31tts_data = {
32    "text": "Merhaba, bu benim AI ile klonlanmış sesim!",
33    "model_id": "eleven_multilingual_v2",
34    "voice_settings": {
35        "stability": 0.75,
36        "similarity_boost": 0.85,
37        "style": 0.45,
38        "use_speaker_boost": True
39    }
40}
41 
42response = requests.post(tts_url, headers=tts_headers, json=tts_data)
43with open("output.mp3", "wb") as f:
44    f.write(response.content)

1Orijinal Video(Türkçe)
2   ↓
31. Speech-to-Text(konuşma tanıma)
4   ↓
52. Translation(çeviri: TR → EN/DE/FR/JA...)
6   ↓
73. Voice Cloning(orijinal ses klonlama)
8   ↓
94. Timing Alignment(dudak senkronizasyonu)
10   ↓
115. Audio Mixing(müzik + ses efekti koruma)
12   ↓
13Dublajlı Video(İngilizce — orijinal sesle)

1// ElevenLabs Conversational AI entegrasyonu
2interface ConversationalAIConfig {
3  voice: {
4    voiceId: string;          // Klonlanmış veya hazır ses
5    model: 'eleven_turbo_v2'; // Düşük latency model
6    latency: '~500ms';        // İlk byte süresi
7  };
8  llm: {
9    provider: 'OpenAI' | 'Anthropic' | 'Custom';
10    model: 'gpt-4o-mini';    // Hız için küçük model
11    systemPrompt: string;     // Asistan kişiliği
12  };
13  stt: {
14    provider: 'ElevenLabs';   // Speech-to-text
15    language: 'tr';           // Türkçe tanıma
16  };
17  config: {
18    turnDetection: 'server_vad';  // Konuşma sırası algılama
19    interruptible: true;           // Kullanıcı araya girebilir
20    maxDuration: 300;              // Maks konuşma süresi (saniye)
21    firstMessage: 'Merhaba! Size nasıl yardımcı olabilirim?';
22  };
23}

1// Node.js ile ElevenLabs TTS
2import axios from 'axios';
3import fs from 'fs';
4 
5async function textToSpeech(
6  text: string,
7  voiceId: string = 'pNInz6obpgDQGcFmaJgB' // Adam (varsayılan)
8): Promise {
9  const response = await axios.post(
10    `https://api.elevenlabs.io/v1/text-to-speech/${voiceId}`,
11    {
12      text,
13      model_id: 'eleven_multilingual_v2',
14      voice_settings: {
15        stability: 0.75,
16        similarity_boost: 0.80,
17        style: 0.40
18      }
19    },
20    {
21      headers: {
22        'xi-api-key': process.env.ELEVENLABS_API_KEY!,
23        'Content-Type': 'application/json',
24        'Accept': 'audio/mpeg'
25      },
26      responseType: 'arraybuffer'
27    }
28  );
29 
30  return Buffer.from(response.data);
31}
32 
33// Kullanım
34const audioBuffer = await textToSpeech(
35  'Merhaba, bu bir yapay zeka tarafından üretilmiş ses.',
36  'turkish_voice_id'
37);
38fs.writeFileSync('output.mp3', audioBuffer);

1// WebSocket ile streaming TTS — gerçek zamanlı ses üretimi
2import WebSocket from 'ws';
3 
4function streamTTS(text: string, voiceId: string): void {
5  const ws = new WebSocket(
6    `wss://api.elevenlabs.io/v1/text-to-speech/${voiceId}/stream-input?model_id=eleven_turbo_v2`
7  );
8 
9  ws.on('open', () => {
10    // Başlangıç konfigürasyonu
11    ws.send(JSON.stringify({
12      text: ' ',
13      voice_settings: { stability: 0.75, similarity_boost: 0.8 },
14      xi_api_key: process.env.ELEVENLABS_API_KEY
15    }));
16 
17    // Metni parçalar halinde gönder
18    const chunks = text.match(/.{1,200}/g) || [];
19    for (const chunk of chunks) {
20      ws.send(JSON.stringify({ text: chunk }));
21    }
22 
23    // Bitir
24    ws.send(JSON.stringify({ text: '' }));
25  });
26 
27  ws.on('message', (data: Buffer) => {
28    const response = JSON.parse(data.toString());
29    if (response.audio) {
30      // Base64 encoded audio chunk — play veya kaydet
31      const audioChunk = Buffer.from(response.audio, 'base64');
32      // audioPlayer.play(audioChunk);
33    }
34  });
35}

1// iOS uygulamada ElevenLabs TTS entegrasyonu
2import AVFoundation
3 
4final class ElevenLabsTTS {
5    private let apiKey: String
6    private let voiceId: String
7    private var player: AVAudioPlayer?
8 
9    init(apiKey: String, voiceId: String) {
10        self.apiKey = apiKey
11        self.voiceId = voiceId
12    }
13 
14    func speak(_ text: String) async throws {
15        let url = URL(string: "https://api.elevenlabs.io/v1/text-to-speech/\(voiceId)")!
16        var request = URLRequest(url: url)
17        request.httpMethod = "POST"
18        request.setValue(apiKey, forHTTPHeaderField: "xi-api-key")
19        request.setValue("application/json", forHTTPHeaderField: "Content-Type")
20        request.setValue("audio/mpeg", forHTTPHeaderField: "Accept")
21 
22        let body: [String: Any] = [
23            "text": text,
24            "model_id": "eleven_multilingual_v2",
25            "voice_settings": [
26                "stability": 0.75,
27                "similarity_boost": 0.80
28            ]
29        ]
30        request.httpBody = try JSONSerialization.data(withJSONObject: body)
31 
32        let (data, _) = try await URLSession.shared.data(for: request)
33 
34        // AVAudioPlayer ile ses çal
35        try AVAudioSession.sharedInstance().setCategory(.playback)
36        try AVAudioSession.sharedInstance().setActive(true)
37        player = try AVAudioPlayer(data: data)
38        player?.play()
39    }
40}
41 
42// Kullanım
43let tts = ElevenLabsTTS(
44    apiKey: ProcessInfo.processInfo.environment["ELEVENLABS_API_KEY"] ?? "",
45    voiceId: "turkish_voice_id"
46)
47try await tts.speak("Hoş geldiniz! Uygulamayı keşfetmeye başlayalım.")

1// VoiceOver alternatifi olarak ElevenLabs kullanımı
2final class AccessibleReader {
3    private let tts: ElevenLabsTTS
4 
5    // Ekran okuyucu — ElevenLabs ile doğal ses
6    func readScreen(_ elements: [AccessibleElement]) async {
7        for element in elements {
8            let text = element.accessibilityLabel ?? element.text
9            try? await tts.speak(text)
10            try? await Task.sleep(nanoseconds: 500_000_000) // 0.5s bekleme
11        }
12    }
13 
14    // Blog okuyucu — uzun içerik için
15    func readArticle(_ content: String) async {
16        let paragraphs = content.components(separatedBy: "\n\n")
17        for paragraph in paragraphs where !paragraph.isEmpty {
18            try? await tts.speak(paragraph)
19        }
20    }
21}