1. Übersicht
Es ist kurz nach sechs, das Büro ist leer, und das Telefon klingelt. Oder es ist zehn Uhr, und alle sitzen in Terminen. Auch bei uns gehen so Anrufe ins Leere.
Die übliche Antwort darauf ist eine Mailbox oder ein Telefonservice. Das ist besser als nichts. Wir wollten wissen, ob ein KI-gestütztes System mehr kann: den Anruf annehmen, das Anliegen verstehen und dann verbinden oder etwas Verbindliches festhalten.
Und wir wollten wissen, ob das auch souverän geht, mit Sprach-KI aus einem deutschen Rechenzentrum. Viele Mittelständler wollen KI am Telefon nutzen, ihre Gespräche aber nicht von KI-Diensten aus den USA auswerten lassen. Deshalb laufen Spracherkennung, Sprachmodell und Stimme im Rechenzentrum der rockenstein AG in Würzburg: Spracherkennung und Sprachmodell über franconia.ai, die Stimme von KugelAudio. Konzept und Software des Assistenten kommen von uns. Anfang November haben wir ihn an unsere echte Telefonanlage angeschlossen, vorerst unter einer eigenen Testnummer. Unser Zwischenstand nach den ersten Tests: ja. Antwortzeiten und Treffsicherheit reichen für diese Aufgaben. Wie wir das gemessen haben und wo die Grenzen liegen, steht weiter unten.
2. Was der Assistent kann
Der Assistent meldet sich mit dem Hinweis, dass er ein KI-Assistent ist, und fragt, worum es geht.
Will der Anrufer jemanden aus dem Team sprechen, ruft der Assistent die Kollegin an und spielt ihr ein kurzes Briefing vor: wer anruft und worum es geht. Mit der Taste 1 nimmt sie an. Sind Anrufer und Kollegin verbunden, hört der Assistent nicht mit. Nimmt die Kollegin nicht ab, kommt der Anrufer zum Assistenten zurück und bekommt einen Rückruf angeboten.
Außerdem notiert der Assistent Rückrufwünsche mit Name, Nummer und Anliegen. Er schlägt freie Termine vor und trägt den gewählten ein, im Test noch in einem Demo-Kalender. Außerhalb der Telefonzeiten stellt er nicht durch und bietet stattdessen einen Rückruf an. Nach jedem Anruf legt er eine kurze Anrufnotiz für das Team an.
Sagt jemand „Bei uns riecht es nach Gas“, greift eine feste Regel, noch bevor das Sprachmodell antwortet. Der Assistent spielt dann eine Notfall-Ansage mit dem Verweis auf die 112 ab. Den Notruf wählt er nie selbst.
Was der Assistent wissen und tun darf, pflegt das Team auf einer Einstellungsseite: Begrüßung, häufige Fragen, Personen mit Durchwahl, Telefonzeiten. Änderungen gelten ab dem nächsten Anruf.
– Sven Rausch, Partner AI & Technology
3. Wie der Assistent im Einsatz klingt
Erhalten Sie einen ersten Eindruck, wie ein KI-Assistent in einer realen Situation zum Einsatz kommen kann. Hinweis: Im ersten Fall wird im Rahmen der Demo auch das Briefing an Herrn Rausch mit ausgegeben, um zu zeigen, wie der angerufene Mitarbeiter das Gespräch übermittelt bekommt.
Verbinden lassen
Rückruf anfordern
4. Wie das aufgebaut ist
Hinter dem Assistenten stehen drei Beteiligte mit klaren Rollen.
RAUSCH: Konzept, Software und Betrieb.
Für den Aufbau haben wir zuerst 45 Open-Source-Projekte für Sprachassistenten am Telefon gesichtet. Viele sind an US-Telefoniedienste gebunden oder können sich nicht an einer bestehenden Telefonanlage anmelden. Übrig blieben zwei Bausteine. Asterisk [1], eine Open-Source-Telefonanlage, meldet sich bei unserer bestehenden Cloud-Telefonanlage als weitere Nebenstelle an. Für die Anlage ist der Assistent damit ein Telefon mit eigener Durchwahl. Pipecat [2], ein Open-Source-Rahmen für Sprachdialoge, führt das Gespräch. Darauf haben wir die Gesprächsführung gebaut, die Funktionen zum Verbinden, Notieren und Buchen, die Einstellungsseite und ein eigenes Testprogramm.
franconia.ai: offene KI-Modelle, souverän betrieben.
franconia.ai ist eine KI-Plattform, gehostet in Deutschland. Die RAUSCH Technology GmbH entwickelt die Plattform. Betrieben wird sie von der nach ISO/IEC 27001 zertifizierten rockenstein AG in deren Rechenzentrum in Würzburg, und Dr. Tristan Behrens bringt die Modell-Expertise ein. Anfragen an die Modelle verarbeitet franconia.ai nur im Arbeitsspeicher, ohne sie zu speichern oder damit zu trainieren. Für den Assistenten liefert die Plattform Spracherkennung (Qwen3-ASR [3]) und Sprachmodell (Gemma 4 [4], als Rückfall Qwen 3.6) über eine Schnittstelle mit einem Zugang. Viele Sprachassistenten setzen dafür getrennte Cloud-Dienste zusammen, oft von US-Anbietern.
KugelAudio: die Stimme.
Die Sprachausgabe übernimmt kugel-3.5 von KugelAudio aus Berlin, ein Modell für Sprachassistenten und Telefongespräche. Es läuft als On-Premise-Installation über franconia.ai ebenfalls im Rechenzentrum in Würzburg und liefert das Audio als Datenstrom: Der erste Ton kommt, bevor der ganze Satz erzeugt ist.
Weil Spracherkennung, Sprachmodell und Sprachausgabe über dieselbe Schnittstelle laufen, ist der Wechsel zwischen ihnen eine Frage der Konfiguration. Das nutzt auch der Rückfall: Antwortet ein Sprachmodell nicht, übernimmt ein zweites. Kommt von der Sprachausgabe nach drei Sekunden kein Ton, spricht ein zweites Modell weiter. Auch die Rückfallmodelle laufen auf franconia.ai.
Asterisk und Pipecat brauchen keine Grafikkarte. Sie laufen auf einem gewöhnlichen Linux-Server und lassen sich deshalb auch in der eigenen Serverlandschaft eines Unternehmens betreiben. Die Rechenleistung für Spracherkennung, Sprachmodell und Stimme kommt aus Würzburg. Rückrufe, Termine und Anrufnotizen übergibt der Assistent per Webhook an n8n [5], ein Werkzeug für Arbeitsabläufe.
5. Die Technik im Detail
Dieser Abschnitt ist für alle, die es genauer wissen wollen.
Technik auf einen Blick
Telefonie: Asterisk 22 mit PJSIP und WebSocket-Kanal, angemeldet als Nebenstelle der bestehenden Telefonanlage
Gesprächsführung: Python 3.12, Pipecat 1.15, FastAPI
Satzende erkennen: Silero VAD und Smart Turn v3, lokal auf dem Server
Spracherkennung: Qwen3-ASR 1.7B über franconia.ai
Sprachmodell: Gemma 4 26B, Rückfall Qwen 3.6 27B, beide über franconia.ai
Sprachausgabe: kugel-3.5 von KugelAudio über franconia.ai
Folgeaktionen: n8n per Webhook
Betrieb: Docker Compose auf einem Linux-Server
Telefonie: Asterisk als Nebenstelle
Asterisk meldet sich über PJSIP per SIP REGISTER an unserer Telefonanlage an, so wie jedes Tischtelefon. Einen SIP-Trunk oder einen eigenen Telefonieanbieter brauchen wir nicht. Die Sprache kommt als G.711 mit 8 kHz an. Asterisk rechnet sie in PCM mit 16 kHz um und schickt sie über seinen WebSocket-Kanal [6] an die Gesprächsführung. Dazwischen vermittelt das Open-Source-Modul pipecat-asterisk [7], das wir an drei Stellen angepasst haben.
Gesprächsführung mit Pipecat
Pipecat verarbeitet das Gespräch in einer Pipeline, einer festen Kette von Verarbeitungsschritten. Ein Sprachdetektor (Silero VAD [8]) meldet Pausen, ein kleines Modell (Smart Turn v3 [9]) entscheidet am Tonfall, ob der Anrufer ausgeredet hat. Dann geht die Äußerung an die Spracherkennung, und das Sprachmodell antwortet im Streaming. Die Sprachausgabe spricht die Antwort Satz für Satz. So beginnt der Assistent zu sprechen, bevor die Antwort fertig formuliert ist.
Die Schnittstelle von franconia.ai ist mit der OpenAI-API kompatibel. Für Spracherkennung und Sprachmodell nutzen wir deshalb die vorhandenen Bausteine von Pipecat und tauschen nur Adresse und Schlüssel. Handeln kann das Sprachmodell nur über fünf Funktionen (Function Calling): verbinden, Rückruf notieren, Termine vorschlagen, Termin buchen und Gespräch beenden.
Durchstellen ohne Transfer-Schnittstelle
Unsere Telefonanlage bietet keine Schnittstelle, mit der wir ein laufendes Gespräch weiterleiten könnten. Deshalb stellt Asterisk selbst durch. Die Gesprächsführung gibt den Anruf an den Wählplan zurück, Asterisk wählt die Durchwahl an und spielt der Kollegin vor dem Verbinden das Briefing vor. Drückt sie die 1, verbindet Asterisk die beiden Leitungen. Sonst beginnt eine neue Runde mit dem Assistenten, der den bisherigen Gesprächsverlauf kennt.
Das Testprogramm
Ein eigenes Testprogramm meldet sich als zweite Nebenstelle an und ruft den Assistenten über die echte Anlage an. Es spricht die Rolle des Anrufers, nimmt beim Durchstellen als Kollegin an und misst die Zeit bis zum ersten Ton jeder Antwort. Jeder Lauf endet mit einem Bericht mit Antwortzeiten und Transkript.
6. Was wir gemessen haben
Mein Eindruck nach dem ersten eigenen Testanruf: Der Assistent klingt sehr natürlich, und der Sprechfluss ist schnell. Man merkt kaum, dass im Hintergrund ein komplexes KI-System am Werk ist.
In der ersten Testnacht liefen 24 automatische Testgespräche mit 26 Anrufen über unsere echte Telefonanlage: Verbinden, Rückruf, Termin, Notfall. Die Anrufe macht unser eigenes Testprogramm (Abschnitt 5).
Für den Eindruck am Telefon zählt vor allem die Pause, bevor der Assistent antwortet. Für die Antwortzeiten werten wir die 11 Anrufe aus, seit die Sprachausgabe samt Rückfall ganz im Rechenzentrum läuft, eine kleine Stichprobe. Gemessen auf unserem Testserver, Funktionsaufrufe eingerechnet, vergehen vom erkannten Satzende bis zum Beginn der Antwort mit Gemma 4 im Median 0,88 Sekunden, in neun von zehn Fällen rund 1,5 Sekunden oder weniger. Mit dem Rückfallmodell Qwen 3.6 sind es im Median 1,2 Sekunden, in neun von zehn Fällen rund 3,4 Sekunden oder weniger. Das Sprachmodell beginnt nach rund 0,1 Sekunden mit der Antwort, die Sprachausgabe liefert in unserem Aufbau über franconia.ai den ersten Ton nach rund 0,4 Sekunden.
Die Pause, die der Anrufer hört, ist länger. Das Erkennen des Satzendes und der Weg durch das Telefonnetz kommen hinzu. Unser Testprogramm misst von außen 2,1 Sekunden im Median, setzt das Satzende aber zu früh an. Dieser Wert ist also eine Obergrenze. Vor dem Bau hatten wir für diese Pause aus Einzelwerten 3 bis 4 Sekunden geschätzt.
Ebenso wichtig ist, ob das Sprachmodell die richtige Funktion aufruft. Wir haben fünf typische Gesprächslagen mit je drei Durchläufen geprüft. Gemma 4 und Qwen 3.6 trafen jeweils 15 von 15.
7. Welche Probleme wir gelöst haben
Ansage erst nach bestätigter Aktion.
Ein Sprachmodell kann flüssig „Ich habe Ihren Rückruf notiert“ sagen, ohne die Funktion dafür aufgerufen zu haben. Deshalb spricht beim Verbinden eine feste Ansage aus dem System. Beim Rückruf hat der Assistent die klare Vorgabe, erst „notiert“ zu sagen, wenn das System den Eintrag bestätigt hat. Das Modell wählen wir nach der gemessenen Treffsicherheit aus.
Notfall-Regel nur bei Gefahrenlagen.
Unsere erste Notfall-Regel reagierte auf einzelne Wörter wie „Gas“. Bei einem Energieversorger oder Installateur gehört dieses Wort aber zum Alltag. Heute braucht es eine Gefahrenlage wie „es riecht nach Gas“ oder „es brennt“. „Rauch“ steht bewusst nicht auf der Liste: Die Spracherkennung macht aus „Herrn Rausch“ gelegentlich „Herrn Rauch“.
Übergänge und Rückfallwege.
Eine systematische Code-Prüfung nach den ersten Tests fand unter anderem diesen Fehler: Lehnte die Kollegin einen durchgestellten Anruf ab, war der Anrufer weg, statt zum Assistenten zurückzukommen. Heute kommt er zum Assistenten zurück. Heute prüft der Assistent zu Beginn jedes Anrufs, ob das Sprachmodell antwortet, und wechselt bei Bedarf auf Qwen 3.6. Fällt der Assistent ganz aus, klingelt wie bisher ein Telefon im Team.
8. Was rechtlich dazugehört
Seit dem 2. August 2026 gilt die Transparenzpflicht aus Art. 50 der KI-Verordnung [10]. Wer mit einem KI-System spricht, muss das erfahren, sofern es nicht offensichtlich ist. Am Telefon heißt das: eine gesprochene Ansage zu Beginn [11]. Eine Tonaufnahme speichern wir nicht.
Für den Regelbetrieb kämen eine Datenschutz-Folgenabschätzung und Verträge zur Auftragsverarbeitung dazu. Unser Assistent ist deshalb nur über eine eigene Testnummer erreichbar.
9. Drei Fragen für den Anfang
1. Frage
Welche Anrufe gehen bei Ihnen heute ins Leere, und wann? Viele Telefonanlagen zeigen das in ihrer Anrufstatistik. Erst wenn Sie wissen, wie viele Anrufe das sind, lässt sich sagen, ob sich ein Assistent lohnt.
2. Frage
Was soll nach dem Anruf passieren, zum Beispiel ein Rückruf, ein Ticket oder ein Termin? In welchem System landet dieser Schritt heute bei Ihnen?
3. Frage
Welche Daten dürfen wohin? Telefonie, Sprach-KI und Folgesysteme können an verschiedenen Orten laufen. Das legen wir am besten vor dem Aufbau fest.
10. Wie es weitergeht
Viel Nutzen sehen wir in der Anbindung an Fachsysteme. Ein naheliegendes Beispiel ist ein Mieter-Telefon in der Wohnungswirtschaft nach Geschäftsschluss. Der Assistent könnte eine Störung aufnehmen, die Dringlichkeit einordnen und eine Meldung im Fachsystem anlegen. Am nächsten Morgen läge alles für den Rückruf bereit. Im Maschinenbau ginge das genauso mit der Service-Hotline: Maschinennummer und Fehlerbild aufnehmen, ein Ticket anlegen und bei einem Stillstand mit der Bereitschaft verbinden.
Wenn Sie eigene Sprachanwendungen bauen möchten: Spracherkennung, Sprachmodelle und Sprachausgabe gibt es als Schnittstelle bei franconia.ai, derzeit in einer geschlossenen Beta für Unternehmen.
Fragen zu franconia.ai beantworte ich am 19. November 2026 von 10 bis 11 Uhr zusammen mit Dr. Tristan Behrens, Julian Zehnter und Alexander Spiegel im digitalen Experten-Talk der rockenstein AG: Ihre Fragen, unsere Antworten.
Quellen
- Sangoma Technologies, Asterisk, abgerufen am 03.11.2026, https://www.asterisk.org
- Pipecat, Open-Source-Framework für Sprach- und multimodale KI-Anwendungen, abgerufen am 03.11.2026, https://github.com/pipecat-ai/pipecat
- Qwen-Team, Qwen3-ASR und Qwen 3.6, abgerufen am 03.11.2026, https://huggingface.co/Qwen
- Google DeepMind, Gemma, abgerufen am 03.11.2026, https://ai.google.dev/gemma
- n8n, Workflow-Automatisierung, abgerufen am 03.11.2026, https://n8n.io
- Asterisk Documentation, WebSocket-Kanal, abgerufen am 03.11.2026, https://docs.asterisk.org/Configuration/Channel-Drivers/WebSocket/
- Nikolay Shakin, pipecat-asterisk, Lizenz BSD-2-Clause, abgerufen am 03.11.2026, https://github.com/NikolayShakin/pipecat-asterisk
- Silero Team, Silero VAD, abgerufen am 03.11.2026, https://github.com/snakers4/silero-vad
- Pipecat, Smart Turn, abgerufen am 03.11.2026, https://github.com/pipecat-ai/smart-turn
- Europäische Union, Verordnung (EU) 2024/1689 vom 13.06.2024 (KI-Verordnung), Art. 50 Transparenzpflichten, Amtsblatt vom 12.07.2024, abgerufen am 03.11.2026, https://eur-lex.europa.eu/eli/reg/2024/1689/oj
- Europäische Kommission, Leitlinien zu den Transparenzpflichten nach Art. 50 der KI-Verordnung, C(2026) 5054, 20.07.2026
