Rakuten bekerja sama dengan LangChain

Dalam dunia kecerdasan buatan yang berkembang pesat, memisahkan sensasi dari nilai bisnis praktis tetap menjadi tantangan yang krusial. Di Rakuten, tantangan tersebut dipenuhi melalui kemitraan inovatif dengan LangChain, sebuah startup yang membangun alat infrastruktur AI untuk membantu perusahaan mengubah model bahasa yang kuat menjadi aplikasi bisnis yang praktis.

Pada acara baru-baru ini di kantor pusat Rakuten di Tokyo, CEO LangChain Harrison Chase dan insinyur pendiri Will Fu-Hinthorn berbicara kepada karyawan Rakuten, menunjukkan bagaimana teknologi mereka menjembatani kesenjangan antara potensi AI dan realitas bisnis.

Membangun agen AI yang berfungsi

Kunci transformasi ini terletak pada sesuatu yang disebut agen – alat AI khusus yang dibangun di atas model bahasa besar (LLM).

“Poin kuncinya bukan pada modelnya,” jelas General Manager, AI for Business, Yusuke Kaji, yang memimpin pengembangan produk terkait LLM Rakuten. “Ini lebih tentang orkestrasi di atas LLM, jika Anda ingin membuat layanan atau alat atau aplikasi yang baik. LangChain membantu kami mengatasi masalah orkestrasi ini, menghubungkan alat-alat yang berguna seperti pencarian web, pencarian file, atau analisis data dan alat bantuan pengkodean.”

Agen AI yang dirancang khusus ini jauh lebih canggih daripada chatbot standar. Tahapan ini terdiri dari serangkaian langkah, termasuk tahap perencanaan dan tahap refleksi di mana agen menilai keluarannya sendiri dan mengulang kembali ke rantai sebelumnya jika diperlukan.

Mereka dapat memanfaatkan sumber daya data yang sangat besar melalui proses yang disebut retrieval augmented generation (RAG), yang mendasarkan respons AI pada data aktual, bukan pengetahuan yang berpotensi menjadi halusinasi. Hal ini sangat berguna ketika dipasangkan dengan kumpulan data yang besar, seperti yang dikelola oleh Rakuten.

Agen juga dapat dibangun untuk bekerja dalam skala waktu yang lebih lama daripada yang dimungkinkan oleh LLM standar, sehingga memungkinkan memori jangka pendek dan panjang dari interaksi masa lalu. Insinyur dapat memutuskan dengan tepat seberapa banyak bimbingan manusia yang tepat – jika terlalu sedikit, maka agen mungkin akan mengarah ke arah yang tidak diinginkan; terlalu banyak, dan agen tidak lagi mengurangi beban kerja.

Alat LangChain bahkan memungkinkan para insinyur untuk mengintip di balik tirai dan mengamati dengan tepat apa yang dilakukan seorang model. Transparansi ini sangat penting untuk melakukan debug dan meningkatkan sistem AI yang tidak selalu memberikan jawaban yang konsisten, sehingga menjadikan teknologi ini lebih andal untuk penggunaan perusahaan.

Dari eksperimen hingga realitas perusahaan

Bagi Rakuten, teknologi ini sudah menunjukkan hasil yang mengesankan.

“Awalnya kami membuat platform yang memungkinkan seluruh karyawan Rakuten membuat agen tujuan tunggal sendiri tanpa kode,” Kaji berbagi. “Karyawan telah membangun agen untuk penjualan, analisis bisnis, dukungan pelanggan, penerjemahan, dukungan pemasaran digital, pekerjaan hukum, SDM, dan bahkan pelatihan.”

Kemitraan ini dimulai dengan alat internal namun berkembang pesat.

“Itulah yang awalnya kami lakukan untuk karyawan internal,” kata Kaji. “Sekarang, kami mencoba melakukan hal yang sama dengan agen konsumen dan klien perusahaan.”

Kasus penggunaan lain yang digunakan di Rakuten termasuk alat untuk mengurangi beban kerja pedagang Rakuten Ichiba. Salah satu insinyur Rakuten di acara tersebut menguraikan skenario di mana pedagang dapat meminta agen untuk menganalisis ulasan pelanggan terhadap produk tertentu, mendalami atribut spesifik produk tersebut.

“LangChain memungkinkan kami bertransisi dari eksperimen seperti pembuktian konsep ke produksi aktual.”

Ketangkasan dan tanggung jawab

Apa yang membuat LangChain menonjol di tengah banyaknya peralatan AI? Kaji menunjuk pada dua faktor penting.

“Kami mencari startup yang bisa bergerak cepat, dan juga mendapat kepercayaan dari komunitas open source,” jelasnya. “Di bidang LLM atau AI, tidak banyak startup AI lain yang memenuhi syarat tersebut.”

Kaji memuji kelincahan LangChain: “Mereka adalah startup kecil, namun sangat cepat dan responsif dalam beradaptasi terhadap tren baru, yang mana hal ini sangat penting karena industri AI generatif berubah begitu cepat.”

Namun yang lebih penting dari ini adalah rasa tanggung jawab tim LangChain: “Poin kedua ini jauh lebih penting bagi perusahaan besar seperti Rakuten. Jika Anda cepat, Anda mungkin bisa membuat demo yang keren. Namun di dunia usaha, hal itu hanya membawa Anda sejauh ini. Hal ini perlu ditingkatkan, dan perlu dipercaya oleh konsumen kami, klien perusahaan kami.”

Dengan alat LangChain, Rakuten mampu menciptakan infrastruktur yang andal dan kuat.

“Mereka berupaya keras untuk membuat produk mereka stabil, dan tim mereka sangat bertanggung jawab,” lanjut Kaji. “Bahkan ketika kami memiliki ekspektasi yang sangat tinggi, mereka dapat memenuhinya.”

Visi pemberdayaan AI

Kemitraan Rakuten dengan LangChain telah menyoroti bagaimana perusahaan dapat melampaui sensasi AI dan proyek eksperimental untuk menciptakan aplikasi yang nyata dan praktis. Bagi Rakuten, hal ini membawa serangkaian tantangan baru.

Rakuten saat ini membanggakan AI yang memungkinkan warga Rakuten mengubah proses kerja mereka, dan secara aktif berbagi pembelajaran AI dan kasus keberhasilan mereka dengan klien dan mitra. Melihat ke masa depan, Chairman dan CEO Rakuten Group Mickey Mikitani memiliki misi untuk mendemokratisasi akses terhadap keahlian Al.

“Jika Anda adalah perusahaan atau pedagang skala kecil hingga menengah, Anda mungkin tidak dapat mempekerjakan sepuluh insinyur atau spesialis pemasaran terbaik di dunia,” jelas Kaji. “Kami bertujuan untuk memberdayakan bisnis-bisnis tersebut untuk menyelesaikan pekerjaan mereka dengan menyediakan spesialis AI yang baik, baik di bidang teknik, pemasaran, penjualan, atau pekerjaan kerah putih lainnya.”

Visi demokratisasi AI ini dapat menyebabkan perubahan signifikan dalam cara bisnis beroperasi. Perusahaan-perusahaan kecil dapat memanfaatkan agen AI untuk mengakses kemampuan serupa dengan pesaing mereka yang lebih besar, sehingga membantu menyamakan kedudukan bagi bisnis dari semua ukuran.

Kaji melihat peran inilah yang dimainkan Rakuten di masa depan: “Visi kami adalah memberdayakan pemangku kepentingan – baik itu karyawan, klien, konsumen, atau masyarakat.”