In einem schwach beleuchteten Aufnahmestudio in Seoul setzen die Produzenten des K-Pop-Musiklabels, das den Welthit der Boygroup BTS hervorgebracht hat, künstliche Intelligenz ein, um die Stimme eines südkoreanischen Sängers mit der von Muttersprachlern in fünf anderen Sprachen zu verschmelzen.

Dank dieser Technologie konnte HYBE, Südkoreas größtes Musiklabel, im Mai einen Song des Sängers MIDNATT in sechs Sprachen veröffentlichen - Koreanisch, Englisch, Spanisch, Chinesisch, Japanisch und Vietnamesisch.

Einige K-Pop-Sänger haben neben ihrer Muttersprache Koreanisch auch Songs auf Englisch und Japanisch veröffentlicht, aber die Anwendung der neuen Technologie für eine gleichzeitige Veröffentlichung in sechs Sprachen ist laut HYBE eine Weltpremiere und könnte den Weg für den Einsatz bei weiteren populären Künstlern ebnen.

"Wir hören uns zunächst die Reaktionen und die Stimme der Fans an und entscheiden dann, wie wir weiter vorgehen", sagte Chung Wooyong, Leiter der Abteilung für interaktive Medien von HYBE, in einem Interview im Studio des Unternehmens.

Lee Hyun, 40, bekannt als MIDNATT, der neben Koreanisch nur begrenzt Englisch und Chinesisch spricht, hat den Song "Masquerade" in jeder Sprache aufgenommen.

Muttersprachler lasen den Text vor und später wurden die beiden mit Hilfe der hauseigenen KI-Musiktechnologie von HYBE nahtlos kombiniert, so Chung.

Der Song ist das jüngste Anzeichen für den wachsenden Einfluss der KI in der Musikindustrie, zu einer Zeit, in der die Grammy Awards neue Regeln für den Einsatz der Technologie eingeführt haben und KI-generierte Mash-Ups von Songs die sozialen Medien überfluten.

"Wir haben ein Musikstück in verschiedene Komponenten unterteilt - Aussprache, Klangfarbe, Tonhöhe und Lautstärke", sagte Chung. "Wir haben uns die Aussprache angeschaut, die mit der Zungenbewegung zusammenhängt, und unsere Fantasie benutzt, um zu sehen, was für ein Ergebnis wir mit unserer Technologie erzielen können."

In einem Vorher-Nachher-Vergleich, der Reuters gezeigt wurde, wurde zum Beispiel dem Wort "twisted" im englischen Text ein verlängerter Vokal hinzugefügt, um natürlicher zu klingen, während die Stimme des Sängers nicht verändert wurde.

Durch den Einsatz von Deep Learning auf der Grundlage des von Supertone entwickelten Frameworks für neuronale Analyse und Synthese (NANSY) klingt der Song natürlicher als bei der Verwendung von Software ohne KI, so Choi Hee-doo, Chief Operating Officer von Supertone.

HYBE hatte die Übernahme von Supertone für 45 Milliarden Won (36 Millionen Dollar) im Januar angekündigt. HYBE sagte, es plane, einen Teil der KI-Technologie, die in MIDNATTs Song verwendet wird, für Urheber und die Öffentlichkeit zugänglich zu machen, gab aber nicht an, ob es dafür Gebühren verlangen würde.

'IMMERSIVES ERLEBNIS'

MIDNATT sagte, der Einsatz von KI habe ihm ein "breiteres Spektrum an künstlerischen Ausdrucksmöglichkeiten" ermöglicht.

"Ich habe das Gefühl, dass die Sprachbarriere beseitigt wurde und es für die weltweiten Fans viel einfacher ist, meine Musik zu erleben", sagte er in einer Erklärung.

Die Technologie ist zwar nicht neu, aber ein innovativer Weg, KI in der Musik einzusetzen, sagte Valerio Velardo, Direktor von The Sound of AI, einem in Spanien ansässigen Beratungsdienst für KI-Musik und -Audio.

Langfristig werden nicht nur professionelle Musiker, sondern auch eine breitere Bevölkerung von der KI-Musiktechnologie profitieren, so Velardo.

"Sie wird die Hürde für die Musikproduktion senken. Es ist ein bisschen wie Instagram für Bilder, aber im Fall von Musik."

Im Moment braucht die HYBE-Technologie zur Aussprachekorrektur "Wochen oder Monate", um ihre Aufgabe zu erfüllen, aber wenn sich der Prozess beschleunigt, könnte sie einem breiteren Spektrum von Zwecken dienen, wie z.B. dem Dolmetschen in Videokonferenzen, sagte Choi Jin-woo, der Produzent von MIDNATTs "Masquerade", der unter dem Namen Hitchhiker auftritt. (Berichterstattung von Hyunsu Yim; Zusätzliche Berichterstattung von Daewoung Kim und Hyun Young Yi; Bearbeitung von Josh Smith und Jamie Freed)