Bauen Sie ein Hochgeschwindigkeits-Transkriptionssystem

Wie man ein leistungsstarkes Transkriptionssystem im eigenen Haus aufbaut.

Im heutigen Ökosystem, das von Fortschritten im Bereich der künstlichen Intelligenz geprägt ist, streben technologieorientierte Unternehmen zunehmend und mit Nachdruck die Integration von KI in ihre Geschäftsprozesse an. Einige entscheiden sich für das Outsourcing ihrer KI-Workloads, indem sie ihre Daten entweder direkt an Organisationen wie OpenAI zur Datenverarbeitung senden, während andere es vorziehen, eigene, leistungsstarke Rechenzentren aufzubauen, um diese Workloads – gleich welcher Art – zu bewältigen.

Dieser Blog konzentriert sich auf Letzteres und zeigt, wie man ein leistungsstarkes Transkriptionssystem im eigenen Haus aufbauen kann, das zukünftig auch für andere Zwecke wie das Training oder die Optimierung von Modellen verwendet werden kann.

Der Star dieses Bauprojekts

Wir haben uns für die Asus TUF 5090 32GB OC Edition entschieden. Die Asus TUF-Serie ist für ihre Zuverlässigkeit und Langlebigkeit bekannt. Selbst wenn wir uns erneut entscheiden müssten, würden wir diese Karte den Varianten vorziehen, die im Internet als schneller angepriesen werden. Diese Variante kostet rund 3900 US-Dollar, deutlich weniger als die meisten anderen, und der tatsächliche Geschwindigkeitsunterschied bei Inferenzberechnungen ist vernachlässigbar. Es lohnt sich nicht, 500 bis 1000 US-Dollar mehr für eine minimale Leistungssteigerung von 1–3 % auszugeben!

Warum ein leistungsstarker KI-PC für 3CX?

Die 3CX Onboard AI-Lösung ermöglicht es Unternehmen, Transkriptionsmodelle lokal auszuführen, was den Datenschutz deutlich verbessert und eine bessere Kontrolle über die Verarbeitungskapazität bietet. Wenn Ihr Unternehmen Transkriptionen nahezu in Echtzeit benötigt und viele Anrufe verarbeiten muss, benötigen Sie ein Hochleistungssystem, wie wir es hier entwickeln.

Komponenten des Systems

• Grafikkarte: ASUS TUF Gaming GeForce RTX 5090 OC Edition 32 GB GDDR7 (Nvidia RTX 5090, PCIe 5.0) – 4140 EUR
• SSD (Betriebssystem/Primär): Samsung 9100 PRO NVMe M.2 4 TB (PCIe 5.0, 14800 MB/s Lesegeschwindigkeit) – 620 EUR
• Prozessor: Intel® Core™ Ultra 9 Desktop-Prozessor 285K (24 Kerne, bis zu 5,7 GHz) – 568 EUR
• Arbeitsspeicher: 1 x 48 GB (2 x 24 GB) DDR5 6000 MHz Corsair Dominator Titanium RGB Intel XMP (CMP48GX5M2B6000C30) – 1420 EUR
• Netzteil: CORSAIR HX1200i (2025) 1200 W ATX 3.1 & PCIe 5.1 Konform (Vollmodular, Platin) – 259 EUR
• Mainboard: ASUS TUF Gaming Z890-PRO WiFi (Intel LGA 1851, ATX, PCIe 5.0, DDR5, WiFi 7) – 315 EUR
• CPU-Kühler: Noctua NH-D15 G2 chromax.black (Premium Dual Tower) – 189 EUR

Total: 7.511 EUR

Manche von Ihnen sehen jetzt vielleicht diesen Preis und denken: „Hey, warum kaufe ich mir nicht einfach eine DGX Spark von Nvidia? Die ist billiger.“ Aber mit so einer Denkweise wären Sie schon auf dem Holzweg!

Obwohl die DGX Spark und ähnliche Komplettlösungen als extrem schnell beworben werden – und zugegebenermaßen auch ein gutes Marketing dahintersteckt –, sind sie bei der Transkription von Anrufen 3- bis 6-mal langsamer als das System, das wir gerade aufgebaut haben. Die DGX Spark und ähnliche Lösungen verfügen nicht über dedizierten Grafikspeicher, sondern teilen sich den Arbeitsspeicher mit dem Rest des Systems. Dies bietet zwar den Vorteil eines größeren Arbeitsspeichers, geht aber auf Kosten der Geschwindigkeit.

Reduzierung der Spezifikationen zur weiteren Kosteneinsparung

Was dieses System angeht, ist die Hardware teilweise etwas überdimensioniert. Beispielsweise kann der Arbeitsspeicher auf 16 GB reduziert werden, da wir für Inferenzaufgaben den GPU-VRAM anstelle des regulären RAMs verwenden. Wer weitere 100 € sparen möchte, kann von der 9100 PRO NVMe auf eine SSD der 970-990 PRO-Serie von Samsung umsteigen. Auch eine weniger leistungsstarke CPU wie ein Core Ultra 5 245K/250K reicht aus.

Solange die 5090 vorhanden ist, kann die restliche Ausstattung – mit Ausnahme des Netzteils – deutlich reduziert werden. Durch eine Reduzierung der Spezifikationen lassen sich bei diesem Server etwa 1000 € sparen.

Bild vom Einbau

Das obige Bild zeigt einen direkten Vergleich einer Asus TUF 4080 RTX 16GB OC mit einer Asus TUF 5090 RTX 32GB OC. Beide Grafikkarten wiegen knapp 3 kg und sind fast so groß wie ein Unterarm. Wenn Sie planen, eine High-End-Grafikkarte der RTX-Serie von Nvidia für Ihren eigenen PC zu kaufen, prüfen Sie unbedingt, ob das Gehäuse, das Sie kaufen möchten, auch wirklich passt. Platzmangel ist bei diesen High-End-Grafikkarten fast immer ein Problem.

Leistung?

Die Transkriptionsleistung eines solchen Systems kann die 32- bis 64-fache Geschwindigkeit der Live-Transkription erreichen. Das bedeutet: Bei Aufnahmen von 32 bis 64 Sekunden Länge dauert die Transkription etwa 1–2 Sekunden, zuzüglich eines gewissen Overheads durch die Modellladegeschwindigkeit und andere Faktoren.

Zu beachten ist die anschließende KI-Analyse der Transkription, die je nach Länge des Transkripts einige Sekunden länger dauern kann. Das System kann 32.000 bis 64.000 Tokens Kontext verarbeiten, was ungefähr 4 Stunden Gesprächskontext entspricht. Somit wird selbst bei den längsten 3-stündigen 3CX-Anrufen der gesamte Gesprächskontext in die Anrufanalyse einbezogen.

Weitere Details zu den Leistungstests aus unseren internen Benchmarks finden Sie unten:

Schlussfolgerung

Wir haben eine KI-Workstation mit hohem Durchsatz entwickelt. Für Unternehmen, die das 3CX-Telefonsystem und seine integrierte KI-Funktion nutzen, bietet diese Lösung maximale lokale Rechenleistung bei gleichzeitig optimalem Kosten-Nutzen-Verhältnis und gewährleistet eine schnelle, präzise und sichere Anruftranskription innerhalb Ihres Netzwerks.

Sind Sie bereit, die Geschwindigkeit Ihrer Anruftranskriptionen zu testen?