amoz.io
← Back to workZurück zu den Arbeiten
FIG.01 · Databricks · Banking & Financial ServicesBanking & Finanzdienstleistungen

Call-Center Intelligence at ScaleCall-Center-Intelligence im großen Maßstab

An audio-processing pipeline lifting call analysis from ~1% manual sampling to 100% automated coverage — ~300,000 calls a month — for a major bank.Eine Audio-Processing-Pipeline, die die Gesprächsanalyse für eine Großbank von ~1% manueller Stichprobe auf 100% automatisierte Abdeckung hebt — ~300.000 Anrufe pro Monat.

ChallengeHerausforderung

A major bank recorded every one of its call-center conversations — around 300,000 a month — and could review barely ~1% of them by hand. The other 99% went unheard: a blind spot across quality assurance, regulatory compliance and customer insight, with no way to know what was happening at scale or to act on it. A one-in-a-hundred sample can't catch a compliance breach, a coaching opportunity or an emerging customer trend.Eine Großbank zeichnete jedes einzelne ihrer Call-Center-Gespräche auf — rund 300.000 pro Monat — und konnte kaum ~1 % davon manuell prüfen. Die übrigen 99 % blieben ungehört: ein blinder Fleck über Qualitätssicherung, regulatorische Compliance und Kundeninsights hinweg — ohne Möglichkeit zu erkennen, was in der Breite geschah, oder darauf zu reagieren. Eine Stichprobe von einem Hundertstel kann weder einen Compliance-Verstoß noch eine Coaching-Chance noch einen aufkommenden Kundentrend erfassen.

ApproachVorgehen

  1. 01

    Ingest at scale Ingestion im großen Maßstab

    Land every recorded call in the lakehouse — 100% of conversations, around 300,000 a month, not a sample. Jeden aufgezeichneten Anruf im Lakehouse landen — 100 % der Gespräche, rund 300.000 pro Monat, keine Stichprobe.

  2. 02

    Pre-process the audio Audio vorverarbeiten

    Resample to 16 kHz mono, denoise and dereverberate, normalize loudness, split the agent and caller channels, and apply voice-activity detection to segment clean speech. Auf 16 kHz Mono resampeln, entrauschen und enthallen, Lautstärke normalisieren, Agent- und Anrufer-Kanäle trennen und per Voice Activity Detection saubere Sprache segmentieren.

  3. 03

    Transcribe & diarize Transkribieren & Diarization

    Transcribe each call with Gemini on Vertex AI and label who spoke — caller or agent — turn by turn. Jeden Anruf mit Gemini auf Vertex AI transkribieren und turn-by-turn labeln, wer gesprochen hat — Anrufer oder Agent.

  4. 04

    Mask sensitive data Sensible Daten maskieren

    Redact PII — account numbers, names, dates of birth — before anything is stored or analyzed. PII redigieren — Kontonummern, Namen, Geburtsdaten — bevor irgendetwas gespeichert oder analysiert wird.

  5. 05

    Analyze every call Jeden Anruf analysieren

    Score each conversation across quality, compliance, sentiment and resolution and surface insights — across 100% of calls, as a foundation for coaching, compliance and downstream use cases. Jedes Gespräch nach Qualität, Compliance, Sentiment und Resolution bewerten und Insights erschließen — über 100 % der Anrufe, als Grundlage für Coaching, Compliance und Downstream-Use-Cases.

ArchitectureArchitektur

DATABRICKS · LAKEHOUSE INGEST ~300K / mo PRE-PROCESS denoise · 16 kHz · VAD TRANSCRIBE & DIARIZE speaker labels MASK PII redact ANALYZE quality · compliance SIGNALS → downstream GOOGLE CLOUD · VERTEX AI VERTEX AI · GEMINI transcription · diarization · analysis

A hybrid audio pipeline. In the Databricks lakehouse, calls are ingested, pre-processed (denoise, 16 kHz mono, VAD, channel-split, normalize), then PII-masked and the results aggregated. The two AI steps call across to Google Cloud — Vertex AI · Gemini transcribes and diarizes each call, then scores it across quality, compliance, sentiment and resolution — turning every call into a governed, structured signal that feeds downstream dashboards, compliance and campaigns. Eine hybride Audio-Pipeline. Im Databricks-Lakehouse werden Anrufe eingelesen, vorverarbeitet (Denoise, 16 kHz Mono, VAD, Channel-Split, Normalisierung), dann PII-maskiert und die Ergebnisse aggregiert. Die zwei KI-Schritte rufen nach Google Cloud hinüber — Vertex AI · Gemini transkribiert und diarisiert jeden Anruf und bewertet ihn nach Qualität, Compliance, Sentiment und Resolution — und macht aus jedem Anruf ein governance-konformes, strukturiertes Signal, das Downstream-Dashboards, Compliance und Kampagnen speist.

A hybrid pipeline sized for ~300,000 calls a month. Databricks orchestrates and holds the data: it ingests recorded calls, pre-processes the audio (denoise, 16 kHz mono, VAD, channel-split, normalize), masks PII and aggregates results in the lakehouse. The two AI steps call across to Google Cloud — Vertex AI · Gemini transcribes and diarizes each call, then scores it across quality, compliance, sentiment and resolution — turning every call into a governed, structured signal that feeds downstream dashboards, compliance and campaigns. Eine hybride Pipeline, ausgelegt auf ~300.000 Anrufe pro Monat. Databricks orchestriert und hält die Daten: Es liest aufgezeichnete Anrufe ein, verarbeitet das Audio vor (Denoise, 16 kHz Mono, VAD, Channel-Split, Normalisierung), maskiert PII und aggregiert die Ergebnisse im Lakehouse. Die zwei KI-Schritte rufen nach Google Cloud hinüber — Vertex AI · Gemini transkribiert und diarisiert jeden Anruf und bewertet ihn nach Qualität, Compliance, Sentiment und Resolution — und macht aus jedem Anruf ein governance-konformes, strukturiertes Signal, das Downstream-Dashboards, Compliance und Kampagnen speist.

Example — one call through the pipeline Beispiel — ein Anruf durch die Pipeline Illustrative Illustrativ

Press play: one recorded call flows through the pipeline — the audio is cleaned, transcribed and speaker-labelled, its sensitive data is masked, and it's scored across several dimensions. What comes out is a governed, structured signal — the record every call now produces. Play drücken: Ein aufgezeichneter Anruf fließt durch die Pipeline — das Audio wird bereinigt, transkribiert und den Sprechern zugeordnet, sensible Daten werden maskiert und es wird über mehrere Dimensionen bewertet. Heraus kommt ein governance-konformes, strukturiertes Signal — der Datensatz, den jeder Anruf jetzt produziert.

  • denoise
  • 16 kHz mono
  • VAD
  • channel-split
  • normalize

AgentAgent Hello, thanks for calling — how can I help today? Guten Tag, danke für Ihren Anruf — wie kann ich helfen?

CallerAnrufer I'd like the balance on my account, number 5829-0114-7783. Ich hätte gern den Saldo meines Kontos, Nummer 5829-0114-7783. I'd like the balance on my account, number ●●●●-●●●●-●●●●. Ich hätte gern den Saldo meines Kontos, Nummer ●●●●-●●●●-●●●●.

AgentAgent Of course — can you confirm your name and date of birth? Natürlich — können Sie Namen und Geburtsdatum bestätigen?

CallerAnrufer Anna Novak, born 12 March 1988. Anna Novak, geboren am 12. März 1988. ●●●● ●●●●●, born ●●●●●●●●●●. ●●●● ●●●●●, geboren am ●●●●●●●●●●.

AgentAgent Thank you, verified. Your balance is €4,210. Danke, verifiziert. Ihr Saldo beträgt 4.210 €.

Call signal Call-Signal governed, structured record governance-konformer, strukturierter Datensatz
DurationDauer 4m 12s SpeakersSprecher Agent · CallerAgent · Anrufer PII maskedmaskiert
TopicsThemen Balance inquiry Saldo-Anfrage Identity verification Identitätsprüfung
  • Quality Qualität 82 / 100 82 / 100
  • Compliance Compliance ✓ identity verified ✓ Identität verifiziert
  • Sentiment Sentiment Positive Positiv
  • Resolution Resolution Resolved · 1 call Gelöst · 1 Anruf

Identity verified before account access — compliant. Positive sentiment; the balance inquiry was resolved in a single call. Identität vor Kontozugriff verifiziert — compliant. Positives Sentiment; die Saldo-Anfrage wurde in einem einzigen Anruf gelöst.

1 / 5

Targeted ImpactAngestrebte Wirkung

  • 300K / mo 300K / Mo.
    Calls processed Anrufe verarbeitet
    The full scope — every recorded conversation, at scale. Der volle Scope — jedes aufgezeichnete Gespräch, im großen Maßstab.
  • 100% 100%
    Call coverage Gesprächsabdeckung
    Every conversation analyzed automatically — up from a ~1% manual sample. Jedes Gespräch automatisch analysiert — statt einer ~1 %-Stichprobe.
  • 0 PII 0 PII
    Privacy by design Privacy by Design
    Sensitive data masked before anything is stored or analyzed. Sensible Daten maskiert, bevor etwas gespeichert oder analysiert wird.
  • Hybrid Hybrid
    Databricks × Google Cloud Databricks × Google Cloud
    Lakehouse orchestration with Vertex AI · Gemini for the audio AI. Lakehouse-Orchestrierung mit Vertex AI · Gemini für die Audio-KI.
  • Full stream Voller Stream
    Quality · compliance · insight Qualität · Compliance · Insight
    Structured signals on every call — a foundation for coaching and downstream use cases. Strukturierte Signale bei jedem Anruf — Grundlage für Coaching und Downstream-Use-Cases.

My RoleMeine Rolle

I architected the end-to-end audio pipeline — ingestion, pre-processing, transcription and diarization, PII masking and multi-dimensional analysis — as a hybrid on Databricks and Google Cloud (Vertex AI · Gemini), lifting call analysis from a ~1% manual sample to 100% automated coverage.Ich habe die End-to-End-Audio-Pipeline architektiert — Ingestion, Pre-Processing, Transkription und Diarization, PII-Maskierung und mehrdimensionale Analyse — als Hybrid auf Databricks und Google Cloud (Vertex AI · Gemini) und die Gesprächsanalyse von einer ~1 %-Stichprobe auf 100 % automatisierte Abdeckung gehoben.

StackStack

  • Databricks
  • Google Cloud
  • Vertex AI
  • Gemini
  • Delta Lake