Gerçek Zamanlı İşlem Hattı: Ses Nasıl Temsilci Yanıtı Haline Gelir?
Mikrofondan hoparlöre 500 ms'nin altında bir sürede. Sesli aracı hattının basitleştirilmiş bir incelemesi - her aşamada neler olur ve gecikmenin nerede gizlendiği.
Arayan kişi sesli temsilciyle konuştuğunda, bir yanıt duymadan önce sözleri bir dönüşüm hattından geçer. Bu hattı anlamak, gecikmeyi teşhis etmek, doğru modelleri seçmek ve nerede optimizasyon yapılacağını bilmek açısından çok önemlidir.
Beş aşama
- Ses yakalama ve aktarma — arayanın sesi mikrofon tarafından yakalanır, kodlanır ve temsilci sunucusuna iletilir. PSTN (telefon) üzerinden bu, 50-150 ms ekler. WebRTC (tarayıcı) üzerinden, 20–50 ms.
- Konuşma tanıma (ASR) — ses akışı metne dönüştürülür. ASR akışı, arayan kişi konuştukça yazıya dökmeye başlar ve kısmi sonuçlar üretir. Son transkripsiyon, ifadenin sonunda gerçekleşir. Bütçe: 100–300 ms.
- Dil modeli muhakemesi (LLM) — kopyalanan metin artı konuşma bağlamı, yanıt oluşturmak için LLM'ye gönderilir. Akış çıkarımı hemen belirteç üretmeye başlar. Bütçe: İlk jeton için 200–600 ms.
- Konuşma sentezi (TTS) — LLM'nin metin çıkışı sese dönüştürülür. Akışlı TTS, tam yanıt beklenmeden ilk belirteçlerden ses üretmeye başlar. Bütçe: İlk ses parçası için 100–200 ms.
- Ses dağıtımı — sentezlenen ses arayanın cihazına geri aktarılır. 1. adımla aynı aktarım gecikmesi.
Akış en önemli optimizasyondur
Akış olmadığında her aşama bir öncekinin tamamen bitmesini bekler. Toplam gecikme: 1,5–3 saniye. Dayanılmaz. Akışla, her aşama artımlı olarak işlenir: ASR, LLM'ye kısmi transkripsiyonlar gönderir, LLM, jetonları TTS'ye aktarır, TTS, arayana ses akışı yapar. Etkili gecikme süresi 400-700 ms'ye düşer; bu, konuşmanın doğal hissettirecek kadar hızlıdır. Gerçek zamanlı ses için özel olarak tasarlanmış platformların var olmasının nedeni budur: akışın düzenlenmesi işin zor kısmıdır.
Başlamaya hazır mısın?
Mazed'in multimodal yapay zekasının sizin için nasıl çalıştığını görün.