Saat ini, 76% konsumen masih lebih suka menghubungi layanan pelanggan melalui telepon – namun bagaimana jika suara di ujung telepon bukan suara manusia?

Generasi baru agen suara AI mulai memasuki operasional layanan pelanggan, dan suaranya terdengar lebih mirip manusia dibandingkan sebelumnya. Yang terdepan dalam inovasi ini adalah OpenAI, yang memperkenalkan Realtime API pada bulan Oktober 2024 – model AI canggih yang menghadirkan percakapan antar-ucapan yang lancar, intuitif, dan proaktif antara bisnis dan pelanggan mereka.

Gelombang baru teknologi suara berbasis AI ini menjanjikan perubahan dalam pengalaman pelanggan. Waktu tunggu yang lama, yang sering disebut oleh 60% konsumen sebagai bagian panggilan layanan yang paling membuat frustrasi, akan segera berlalu. Dengan agen suara AI yang tersedia secara instan, pelanggan kini dapat menikmati interaksi dengan bisnis yang lebih cepat, lancar, dan memuaskan.

Menghadirkan asisten suara bertenaga AI kepada 10 juta pelanggan di seluruh Jepang

Di Rakuten Mobile, di mana sekitar 30% pertanyaan pelanggan masih dilakukan melalui telepon, para ahli beralih ke AI untuk membantu menjembatani kesenjangan antara bisnis dan pelanggannya. Dengan memanfaatkan Realtime API OpenAI, organisasi ini mengembangkan asisten suara bertenaga AI yang menjadikan dukungan pelanggan lebih cepat dan lebih mudah diakses oleh lebih dari 10 juta pelanggan dan pelanggan baru di seluruh Jepang.

Agen suara baru ini mengintegrasikan Realtime API dengan Large Language Model (LLM) buatan Rakuten, Rakuten AI 7B, untuk memberikan percakapan yang lancar dan alami dalam bahasa Jepang dan Inggris serta respons yang peka konteks berdasarkan data dari pengetahuan bisnis dan interaksi pelanggan Rakuten Mobile.

Fitur baru ini memungkinkan pendaftaran, orientasi, dan kasus dukungan pelanggan lainnya yang lebih cepat untuk layanan Rakuten Mobile dan tersedia untuk umum dalam situs web dan aplikasi seluler Rakuten Mobile. Pengguna dapat merasakan percakapan alami dengan agen yang mencerminkan pengalaman agen suara manusia.

“Saat ini, sepertiga dari kasus dukungan pelanggan kami (masih) berasal dari panggilan telepon. Dengan menggabungkan model ucapan-ke-ucapan Open AI yang canggih dengan Rakuten AI 7B, kami dapat memberikan suara yang penuh empati dan mirip manusia yang menyapa pelanggan Rakuten Mobile di mana pun mereka berada dan memecahkan masalah mereka secara efisien,” kata Scott Wu, General Manager AI untuk Layanan Pelanggan dan Direktur Keamanan AI, Rakuten Group.

Menggunakan API Realtime OpenAI untuk membangun agen suara AI tingkat lanjut

Realtime API Open AI menyediakan interaksi ucapan-ke-ucapan langsung, serta masukan multimodal (audio, gambar, dan teks) dan keluaran (audio dan teks), memungkinkan percakapan AI yang lancar dan terasa alami. Dengan Realtime API, pengembang dapat membangun dan berhasil menerapkan agen suara yang meningkatkan pengalaman layanan pelanggan untuk bisnis mereka.

Secara tradisional, asisten suara mengandalkan beberapa model terpisah – satu untuk mengubah ucapan menjadi teks, dan satu lagi untuk mengubah teks kembali menjadi ucapan. Realtime API mengambil pendekatan yang berbeda. Dengan menangani kedua proses dalam satu model dan API (antarmuka pemrograman aplikasi), teknologi ini secara signifikan mengurangi waktu respons, menjaga kehalusan nada bicara manusia, dan menghadirkan percakapan yang terdengar lebih lancar dan nyata.

Bagaimana Rakuten AI 7B mendukung pembelajaran berkelanjutan dan AI yang berpusat pada pelanggan

Di belakang asisten suara baru ini terdapat Rakuten AI 7B – model bahasa terbuka besar berperforma tinggi yang dioptimalkan untuk bahasa Jepang. LLM dilatih tentang kumpulan data berskala internet berbahasa Inggris dan Jepang, yang dikurasi dan dibersihkan dengan cermat melalui proses pemfilteran dan anotasi data multi-tahap internal. Hal ini memastikan kualitas tinggi, berkontribusi terhadap peningkatan kinerja model.

Saat diluncurkan, perusahaan ini meraih nilai tertinggi di antara LLM sumber terbuka Jepang dalam tolok ukur LM Evaluation Harness – yang menetapkan standar baru untuk inovasi AI berbahasa Jepang.

Insinyur Rakuten terus menyempurnakan model dengan memberi anotasi pada data baru dan mengintegrasikan masukan pelanggan, memastikan model tetap akurat, adaptif, dan selaras dengan interaksi di dunia nyata. Hal ini memungkinkan asisten suara AI Rakuten Mobile meningkat seiring waktu dan menjadi lebih baik dalam memahami, mengantisipasi, dan memenuhi kebutuhan pelanggan.

Keamanan dan privasi merupakan hal mendasar dalam desain ini. Dengan membangun sistem pada Rakuten AI 7B dan menghostingnya dengan aman dalam infrastruktur aman milik Rakuten, Rakuten Mobile memastikan bahwa semua informasi sensitif pelanggan tetap terlindungi. Inti dari strategi AI Rakuten adalah keputusan untuk membangun model bahasa besar secara internal – memungkinkan perusahaan menyeimbangkan kinerja, keamanan, latensi, dan biaya secara hati-hati, sekaligus memberdayakan para insinyur dan tim bisnis untuk meningkatkan inovasi berbasis AI di lebih dari 70 bisnis dan layanan Rakuten.

Model dukungan pelanggan baru di era AI

Penerapan teknologi AI oleh Rakuten Mobile menandai era baru dalam dukungan pelanggan di mana AI dengan mulus menjembatani kesenjangan antara komunikasi digital dan manusia. Selain agen suara, Rakuten berdedikasi untuk memajukan beragam solusi AI di berbagai domain bisnisnya.

Pada Rakuten AI Optimism 2025, Chairman dan CEO Rakuten Group Mickey Mikitani mengumumkan peluncuran Rakuten AI, sebuah agen cerdas yang menghubungkan pengguna Rakuten di berbagai bisnis dan layanan mulai dari fintech, e-commerce, perjalanan hingga telekomunikasi. Dengan Rakuten AI, pelanggan dapat menelusuri produk di Rakuten Ichiba, membuat video dan gambar, menyalin catatan rapat, membuat rencana perjalanan yang dipersonalisasi, dan banyak lagi – semuanya dalam hitungan detik.

Rakuten AI tersedia untuk umum di ai.rakuten.co.jp.

Pendekatan holistik terhadap AI ini, yang mengembangkan layanan AI agen yang didukung oleh mitra terbaik dan teknologi internal, menggarisbawahi komitmen Rakuten untuk tidak hanya meningkatkan layanan pelanggan, namun juga mengubah pengalaman pengguna secara mendasar.