Maksim tkachenko di jalan menuju AI yang dipersonalisasi dengan LLM Jepang yang efisien

Dalam seri ini, kami duduk bersama para pemimpin AI Rakuten untuk menyelam mendalam ke dalam cerita -cerita di balik teknologi transformatif ini dan orang -orang yang menginspirasi yang mendorong visi AI Rakuten untuk semua. Tonton wawancara ini dan lainnya di Inside Rakuten AI Series di saluran YouTube kami.

Model bahasa besar (LLM) berada di garis depan lanskap kecerdasan buatan yang berkembang pesat. Model -model yang kuat ini adalah mesin penggerak mesin AI dan sedang membentuk kembali bagaimana kita berinteraksi dengan teknologi, menjanjikan masa depan di mana AI bukan hanya alat, tetapi pengali kekuatan cerdas.

Di Rakuten, tim peneliti berpikir di luar kotak dan memanfaatkan inovasi terobosan untuk mendorong batas -batas pengembangan LLM, yang bertujuan untuk menciptakan model yang sangat efisien yang memanfaatkan arsitektur inovatif untuk memahami kebutuhan pengguna dan menjadi sangat terintegrasi ke dalam kehidupan sehari -hari mereka.

Memimpin drive tanpa henti ini adalah Maksim “Max” Tkachenko, manajer umum Departemen Penelitian Frontier di Rakuten. Perjalanannya ke AI dimulai dengan daya tarik untuk pemrosesan bahasa alami (NLP)-tarian rumit untuk menjelaskan sifat cairan bahasa manusia ke komputer melalui struktur matematika yang kaku.

https://www.youtube.com/watch?v=rn2etex8hjs

Menerapkan ketepatan matematika untuk pemrosesan bahasa

Maksim “Max” Tkachenko, Manajer Umum Departemen Penelitian Frontier, memimpin penelitian LLM Rakuten

“Bahasa adalah konsep yang sangat lancar,” Max menjelaskan. “Tapi Anda benar -benar dapat menambahkan banyak struktur ke dalamnya. Dan di situlah menjadi sangat menarik. Jadi, bagaimana kita menjelaskan fluiditas bahasa dengan kekakuan matematika? Pertanyaan ini mendorong saya selama bertahun -tahun penelitian ketika saya melanjutkan untuk melakukan PhD dalam pemrosesan bahasa.”

Bahkan dalam perannya saat ini mengawasi inisiatif LLM Rakuten yang ambisius, Max mempertahankan fokus yang jelas pada prinsip inti di belakang LLMS. Pemrosesan bahasa adalah bidang penelitian yang selalu berubah: sekarang kita memiliki model bahasa. Ketika kita berbicara tentang melatih model -model ini, itu tidak berarti kita hanya memberi tahu model apa itu kata benda dan bahwa itu harus diikuti oleh kata kerja, tetapi itu adalah masalahnya sebelumnya. Sekarang, kita tidak perlu menggambarkan cara kerja bahasa manusia.

“Dengan cara ini, model AI belajar dengan melakukan tugas sederhana: memprediksi kata berikutnya dalam urutan,” jelasnya. “Proses yang tampaknya langsung ini telah terbukti menjadi cara yang sangat efektif untuk melatih jenis mesin yang memungkinkan AI melakukan hal -hal yang cukup cerdas dengan bahasa manusia.”

Proses pelatihan untuk LLM terungkap dalam dua tahap utama. Yang pertama melibatkan model mempelajari struktur dan operasi bahasa yang melekat. “Itu hanya bagian satu,” Max mengklarifikasi. Bagian kedua melibatkan menunjukkan kepada model bahasa bagaimana berfungsi dan bagaimana mendekati tugas -tugas tertentu. Ini dicapai dengan memberikan model dengan data yang beranotasi, seperti kalimat bahasa Inggris yang dipasangkan dengan terjemahan Jepangnya, atau contoh bagaimana menulis email. Melalui proses ini, LLM belajar untuk mensimulasikan seorang annotator, mengembangkan kemampuan untuk melakukan berbagai tugas dan melibatkan TUKS “.

Keuntungan unik Rakuten: ekosistem yang kaya data

Rakuten diposisikan secara unik untuk memahami dan mengatasi tugas vertikal di banyak bisnis dan lebih lanjut mengembangkan kecerdasan umum

Max bergabung dengan Rakuten pada tahun 2022, awalnya berfokus pada terjemahan mesin. Namun, kemunculan teknologi AI generatif yang mudah digunakan dan dapat diakses seperti ChatGPT adalah momen penting bagi industri AI dan peluang emas baginya menggeser fokus menuju pengembangan LLM.

Hari ini, ia mengawasi tim yang didedikasikan untuk melatih dan mengoptimalkan model kuat Rakuten sendiri. Ini adalah peran mendasar dengan potensi kontribusi besar dan membutuhkan visi strategis dan pengetahuan domain yang mendalam. “Mengawasi seluruh proses pengembangan model bahasa melibatkan banyak aspek termasuk pilihan desain arsitektur,” jelasnya. “Kita perlu memikirkan bagaimana kita mengumpulkan data dan anotasi.”

Ekosistem Rakuten yang beragam, yang mencakup lebih dari 70 layanan dalam e-commerce, keuangan, telekomunikasi dan banyak lagi, memberikan keuntungan yang signifikan dalam upaya ini. Saat membahas posisi yang unik ini, Max mulai dari tingkat tinggi, “Mari kita mundur sedikit dan mencoba untuk mendefinisikan apa sebenarnya kecerdasan dalam model bahasa. Kita dapat mendefinisikan kecerdasan melalui serangkaian tugas kecil yang berbeda. Kita dapat mengkategorikan tugas -tugas ini menjadi vertikal yang berbeda.”

“Jadi, untuk setiap domain kita perlu memikirkan tugas seperti apa yang ingin kita selesaikan untuk mencapai kecerdasan dalam vertikal khusus ini, baik itu e-commerce atau perbankan, dan ketika kita terus mengumpulkan vertikal kita menggabungkannya ke dalam mesin yang lebih cerdas dan berpidato secara umum.

Kemampuan untuk memanfaatkan data perilaku pengguna, sambil melindungi privasi pengguna, adalah pembeda utama lainnya. “Kami juga dapat mengakses dan mendapatkan pemahaman tentang sejumlah besar data yang digunakan dalam pengembangan. Data dan pengetahuan domain ini berasal dari mengoperasikan bisnis sendiri,” kata Max. “Misalnya, kami dapat menganalisis pola pembelian untuk lebih memahami bagaimana produk tertentu berhubungan satu sama lain dalam perjalanan pelanggan. Wawasan ini memungkinkan kami untuk meningkatkan personalisasi di LLM kami, memungkinkan rekomendasi yang lebih relevan dan interaksi yang disesuaikan.”

Berkendara menuju memori yang dipersonalisasi dan percakapan seumur hidup

Memori adalah kunci penting untuk personalisasi yang memungkinkan pengalaman seperti petugas dengan agen AI

Sebagai seorang pemimpin, Max menetapkan tujuan yang jelas untuk pengembangan LLM timnya dengan misi inti yang ambisius, “Kami bertujuan untuk memberikan model bahasa besar Jepang terbaik di kelasnya yang memahami konteks komunikasi, nuansa budaya Jepang dan memberikan pengalaman yang dipersonalisasi.” Tujuan menyeluruh ini dikejar melalui inovasi agresif, terus-menerus mengeksplorasi penelitian mutakhir dan membuat keputusan arsitektur yang strategis untuk menyesuaikan LLM dengan vertikal bisnis tertentu.

Ketika ditanya tentang indikator kinerja utama (KPI) untuk timnya, Max menekankan fokus pada output daripada hanya kecepatan peluncuran. “KPI LLM kami berbasis kinerja,” katanya. “Pada dasarnya kita melihat seberapa akurat kita dapat berkomunikasi dalam berbagai konteks, seberapa akurat personalisasi kita.” Ini menyoroti komitmen terhadap kualitas dan relevansi dalam setiap interaksi.

Konsep personalisasi, tema berulang dalam diskusi ini, sangat penting. Ini bukan hanya tentang bahasa yang digunakan LLM, tetapi kemampuannya untuk sangat memahami dan mencocokkan niat pengguna. Max memberikan contoh yang jelas, “Jika Anda berbicara dengan asisten AI tentang memesan makan malam tetapi belum menentukan masakan pilihan Anda atau waktu pengiriman, chatbot akan mengajukan pertanyaan yang mengklarifikasi. Namun, jika sistem sudah mengetahui restoran favorit Anda, pembatasan makanan, atau waktu pemesanan yang biasa, itu dapat langsung menyarankan makanan yang sempurna dengan minimal minim bolak-balik.”

Kemampuan untuk “mengingat” interaksi sebelumnya adalah yang terpenting. Max melukiskan gambaran yang meyakinkan tentang kemungkinan agen cerdas dengan ingatan jangka panjang, “Misalnya, mungkin setahun yang lalu Anda menyebutkan bahwa ulang tahun Anda akan datang dan Anda mencari hadiah. Mengapa kami tidak dapat memiliki model bahasa yang mengingat detail ini dan mengingatkan Anda sebelumnya?”

Dia membayangkan sebuah skenario di mana agen AI dapat memberi tahu Anda ketika ulang tahun Anda akan datang, lalu silakan dan merekomendasikan hadiah dan bahkan memberi tahu Anda apa yang Anda beli terakhir kali untuk menghindari memberikan yang sama lagi. “Memori” ini, ia menegaskan, adalah kunci yang sangat penting untuk personalisasi karena memungkinkan pengalaman seperti petugas di mana agen AI mengantisipasi kebutuhan pengguna di berbagai aspek kehidupan mereka, dari perjalanan hingga berbelanja.

Masa depan adalah konteks panjang dan inovasi arsitektur

LLM Rakuten termasuk Rakuten AI 2.0, Rakuten AI 7B dan Rakuten AI 2.0 Mini

Max dan timnya sedang mengeksplorasi perkembangan yang menarik, terutama dalam desain arsitektur dan metodologi pelatihan. Model Rakuten 2.0 menggunakan arsitektur campuran ahli (MOE). Tim terus berinovasi untuk mencapai tujuan mengembangkan LLM yang disesuaikan untuk vertikal bisnis tertentu yang menawarkan pengalaman yang dipersonalisasi yang ditingkatkan.

Bergerak maju, Max berfokus pada memungkinkan LLM untuk mendukung percakapan seumur hidup dengan pengguna. Ini melibatkan pemrosesan konteks yang sangat panjang, tantangan signifikan yang dapat membuka tingkat personalisasi yang lebih dalam dan interaksi berkelanjutan. Rakuten juga semakin mengembangkan portofolio model yang komprehensif untuk memenuhi semua persyaratan dan pertimbangan sumber daya dalam hal kecepatan, biaya, dan aksesibiilty.

Saat ini, LLM Rakuten termasuk Rakuten AI 2.0 untuk Pengetahuan Dunia Umum, Rakuten AI 7B yang lebih cepat dan hemat sumber daya dan Rakuten AI 2.0 Mini, model bahasa kecil (SLM) yang mampu menjalankan offline di tepi atau perangkat seluler.

“They all kind of deliver the same experience,” Max notes, “The difference is subtle. The smaller models, while faster, naturally have limitations on the sheer volume of information they can store. While all models offer secure chat experiences, their world knowledge varies. Right now, the larger Rakuten 2.0 has a much broader understanding, capable of answering complex questions about topics such as physics, whereas smaller models are better suited for more focused tasks.”

Max membayangkan masa depan di mana agen AI yang cerdas dapat mengingat kita dan secara proaktif memenuhi kebutuhan kita

Dengan mengambil pendekatan praktis dan bernuansa, Rakuten dapat mengembangkan dan menggunakan LLM yang paling efektif dan efisien untuk setiap aplikasi spesifik dalam ekosistemnya yang luas dan beragam.

Ketika Max dan timnya mempercepat inovasi di ruang LLM, memanfaatkan ekosistem Rakuten yang kaya data dan mendorong batas-batas personalisasi, kami semakin dekat dengan masa depan di mana agen AI tidak hanya pintar, tetapi juga mengingat kami dan secara proaktif memenuhi kebutuhan kami.