Dalam seri ini, kami duduk bersama para pemimpin AI Rakuten untuk menyelam mendalam ke dalam cerita -cerita di balik teknologi transformatif ini dan orang -orang yang menginspirasi yang mendorong visi AI Rakuten untuk semua. Tonton wawancara ini dan lainnya di Inside Rakuten AI Series di saluran YouTube kami.
Di pucuk pimpinan Departemen Pembelajaran Mesin Rakuten dan Departemen Teknik Pembelajaran yang mendalam, Lee Xiong, Wakil Direktur Grup Rakuten dari Departemen Pengawasan Penelitian AI, sedang memetakan kursus ambisius untuk Jepang Buatan Jepang (AI). Perjalanannya ke AI dimulai selama kuliah, tak lama sebelum lapangan meledak ke dalam kesadaran yang populer.
“Itu adalah era sebelum pembelajaran mendalam menjadi arus utama,” kenangnya. “Pada waktu itu, pembelajaran mesin dan pembelajaran yang mendalam dianggap sebagai topik yang sangat niche.”
Pada 2017, Transformers meledak ke tempat kejadian, merevolusi cara teks ditafsirkan oleh komputer: “Kami menyadari bahwa ini akan menjadi revolusioner untuk pemrosesan bahasa alami dan semua tugas berbasis teks.”
Sejak itu Xiong telah memberikan kontribusi yang signifikan ke bidang AI, termasuk makalah penelitian ACE yang sering dikutip (perkiraan Estimasi Kontras Negatif Tetangga terdekat), yang telah berfungsi sebagai landasan untuk aplikasi yang digerakkan oleh RAG (Pengambilan-Pengambilan Generasi). Dia melanjutkan untuk merintis penyebaran model GPU untuk aplikasi pencarian di Microsoft, sebelum bergabung dengan Rakuten dan membantu meluncurkan departemen pembelajaran mesin dan pembelajaran mendalam pada tahun 2022.
Foundation, Innovation and Frontier Research
Xiong menjelaskan tiga strategi menyeluruh Rakuten untuk pengembangan AI.
“Yang pertama adalah apa yang kami sebut Skenario dasar”Dia memulai. “Pencarian, iklan, rekomendasi kami – ini telah membuktikan bahwa pembelajaran mesin dapat menghasilkan nilai dan peningkatan yang signifikan dari tahun ke tahun di seluruh industri.”
“LLMS penting dalam berbagai aspek sekarang. Dan jika AGI (Kecerdasan Umum Buatan) tidak dikunci suatu hari, dampaknya bagi masyarakat dan ekonomi, akan luar biasa. ”
Lee Xiong, Wakil Direktur Grup Rakuten Departemen Pengawasan Penelitian AI
Xiong dan tim telah mengembangkan dan mengimplementasikan sistem pencarian semantik yang digerakkan AI untuk beberapa layanan Rakuten.
“Pencarian adalah salah satu aplikasi industri terbesar dari pembelajaran mesin. Masih hari ini, bersama dengan rekomendasi dan iklan, ini adalah salah satu aplikasi pembelajaran mesin industri terbesar. ”
Strategi kedua, tim Xiong menggambarkan sebagai inovasi dan prototipe.
“Ini adalah model interaksi yang berbasis obrolan, berbasis gambar, berbasis suara, dan banyak baru yang muncul, terus terang, orang masih menguji,” lanjutnya. “Kami percaya sesuatu yang berbeda dari interaksi hari ini akan muncul di tahun -tahun mendatang. Dan itu akan mendominasi bagaimana Anda berinteraksi, bagaimana Anda melakukan pembelian di situs web e-commerce. “
Akhirnya, Penelitian Perbatasan: “Ini berarti LLMS. LLM penting dalam berbagai aspek untuk AI saat ini. Selain itu, jika AGI (Kecerdasan Umum Buatan) juga tidak dikunci suatu hari, maka dampaknya terhadap masyarakat dan ekonomi, akan menjadi luar biasa. Saya tidak berpikir ada orang yang perlu diingatkan akan hal itu. “
Data yang kuat dan fundamental yang kuat
Salah satu keuntungan yang kuat yang dinikmati tim Xiong adalah beragam ekosistem Rakuten dari lebih dari 70 layanan berbeda di Jepang dan luar negeri. Hal ini memungkinkan kolaborasi horizontal yang kuat di berbagai bidang pembelajaran mesin – sesuatu yang tidak tersedia untuk banyak perusahaan dan universitas lain.
“Kami tidak hanya melakukan LLM sendiri. Kami benar -benar melakukan pencarian, rekomendasi – dan kode dan mesin yang kami bangun bagus untuk semua beban kerja pembelajaran mesin. Peningkatan dari masing -masing membantu satu sama lain, ”kata Xiong. “Kami pikir kami beroperasi dengan efisiensi yang sangat tinggi, terutama mengingat ukuran tim kami dibandingkan dengan beberapa hiperscaler lainnya.”
“Kami tidak mengambil jalan pintas. Model terbaru kami tidak akan memiliki ketergantungan yang kuat pada pos pemeriksaan pretrained apa pun, sehingga kami benar -benar dapat membangun model dasar kami sendiri dari awal. ”
“Rakuten mungkin memiliki salah satu set data paling beragam dari perusahaan mana pun, terutama dalam bahasa Jepang,” catat Xiong.
Untuk memanfaatkan data yang kuat ini, Xiong dan tim telah berkomitmen untuk memajukan kemampuan AI fundamental Rakuten.
“Pengembangan LLM yang khas dipecah menjadi dua tahap-satu disebut pra-pelatihan, satu disebut fine-tuning,” jelasnya. “Pra-pelatihan adalah apa yang Anda lakukan agar model berjalan pada kumpulan teks alami, dan Anda memintanya untuk memprediksi token berikutnya. Fine-tuning adalah saat Anda benar-benar melatih model untuk tugas-tugas tertentu. “
Di dunia pengembangan AI, tergoda untuk sekadar menyempurnakan model pretrained untuk menilai tinggi pada papan peringkat tertentu, tanpa membuat sesuatu yang lebih bermanfaat. Xiong mengungkapkan bahwa meskipun keberhasilan Rakuten baru -baru ini di bagan kinerja LLM, timnya fokus pada metriknya sendiri.
“Kami tidak mengambil jalan pintas,” tegasnya. “Model terbaru kami tidak akan memiliki ketergantungan yang kuat pada pos pemeriksaan pretrained mana pun, yang berarti bahwa jika pengembang utama tidak membuka sumber model mereka berikutnya, atau model dasar lainnya tidak terbuka, kami benar -benar dapat membangun model dasar kami sendiri dari awal. Saya tidak berpikir banyak perusahaan bisa melakukan itu. “
Terobosan dalam bahasa Jepang AI
“Model bahasa Inggris tidak bekerja dengan baik dalam bahasa Jepang,” Xiong menjelaskan, mencatat bahwa tanpa penyesuaian, banyak model open-source populer membalas pertanyaan Jepang dalam bahasa Inggris. “Terkadang orang juga merasa, jika Anda mengetik bahasa Jepang atau Cina, atau bahasa lain selain bahasa Inggris ke sebagian besar chatbots Genai untuk pertanyaan yang sama persis, Anda mendapatkan kualitas jawaban yang terdegradasi. Ini menunjukkan bahwa model-model ini menghadap ke bahasa non-Inggris. ”
Ini bisa dimengerti, catatan Xiong, mengingat kelimpahan inovasi AI yang keluar dari AS
“Kami memiliki data terbaik dan model dapat skala. Dan itu dapat belajar bahasa Jepang dengan sangat efisien.”
“Jelas sebagian besar pemimpin Genai dari Silicon Valley akan mengoptimalkan untuk bahasa Inggris, pertama dan terutama. Tapi itu menciptakan celah serta peluang bagi pemain lain seperti Rakuten, ”kata Xiong. “Kita dapat membangun model yang jauh lebih baik dalam bahasa Jepang, dan ke tingkat yang sebenarnya praktis untuk diterapkan dalam produksi.”
Tim Xiong telah melakukan hal itu: Pada awal 2024, Rakuten membuat gelombang di komunitas AI dengan merilis serangkaian model, termasuk Rakuten AI 7B. Model ini menduduki puncak grafik kinerja dalam bahasa Jepang pada saat peluncuran, membahas kesenjangan penting dalam kemampuan pemrosesan bahasa Jepang di antara model AI global.
“Saya pikir kami memiliki tokenizer yang lebih efisien. Kami melakukan ini dengan algoritma kompresi eksklusif yang telah kami terbukti memberikan token paling optimal untuk kosa kata yang diberikan, kompresi token paling optimal untuk bahasa Jepang – tanpa melukai bahasa Inggris. “
Xiong mengatakan bahwa kunci keberhasilan LLM adalah skalabilitas dan kualitas data.
“Kami memiliki banyak data, dan banyak data dalam bahasa Jepang, dalam kualitas yang cukup masuk akal. Dan tim memahaminya, sehingga mereka dapat melakukan penyaringan yang lebih baik, ”jelasnya. “Ketika kami menggabungkannya bersama -sama, maka chemistry terjadi. Kami memiliki data terbaik dan model dapat skala. Dan itu dapat belajar bahasa Jepang dengan sangat efisien. “
Misi untuk memberdayakan semua dengan AI
Pentingnya mengembangkan kemampuan AI penduduk asli Jepang meluas melampaui fungsionalitas belaka ke ranah daya saing teknologi di panggung global, Xiong menyoroti.
“Situasi yang menakutkan akan menjadi kasus di mana hanya satu negara, dan hanya dua atau tiga perusahaan di negara itu yang dapat membangun AI paling kuat. Kemudian semua perusahaan dan negara lain memiliki belas kasihan sampai batas tertentu, ”ia mengusulkan.
Kuncinya, Xiong berpendapat, adalah memiliki pemain yang lebih aktif di lapangan.
“Jika ada banyak pemain di dunia yang dapat membangun Super AI, maka itu bukan masalah,” catat Xiong. “Saya pada dasarnya percaya bahwa kita sebagai perusahaan teknologi seharusnya tidak hanya menerapkan teknologi AI, tetapi juga membuat AI … semoga kita bisa menjadi salah satu kekuatan pendorong bagi demokratisasi teknologi yang begitu kuat!”
Mempersiapkan Masa Depan AGI
Xiong melihat dua jalur ke masa depan untuk AI di Rakuten. “Lagu pertama adalah tempat semua orang berkompetisi hari ini: meningkatkan model, sambil mengurangi biaya.”
“Nilai sesuatu seperti Agi ciptaan mungkin jauh melebihi ekspektasi, jadi sangat penting untuk memiliki model yang dapat kami bangun dan tawarkan kepada pelanggan kami.”
Salah satu metode untuk mencapai ini disebut campuran ahli.
“Cara kerjanya adalah Anda melatih model raksasa yang terbuat dari banyak model kecil, dan ketika Anda menjalankan model, hanya sebagian dari model kecil yang perlu dipicu,” jelas Xiong. “Anda hanya membayar sebagian kecil dari biaya dibandingkan dengan menjalankan seluruh model, tetapi Anda mendapatkan kinerja yang hampir sama baiknya dengan jika Anda menjalankan model lengkap.”
Teknologi ini dengan cepat mendapatkan uap, dan Rakuten adalah pengadopsi awal. “Model terbaru kami adalah campuran model ahli yang dioptimalkan untuk bahasa Jepang.”
Kedua, tim Xiong sedang melihat hal -hal dari perspektif yang lebih luas, memeriksa kembali arsitektur AI modern.
“Keterbatasan transformator telah diakui dengan baik dalam industri ini. Itu tidak skala dengan input yang lebih lama, ”jelasnya. “Kinerja turun saat Anda menaruh lebih banyak istilah dalam obrolan, karena model harus menangani konteks yang lebih lama.”
Menerus penghalang ini secara khusus penting untuk mencapai kecerdasan umum buatan – sesuatu yang diyakini Xiong Rakuten harus berada di lantai dasar.
“Kami percaya bahwa agar AGI terjadi, untuk sesuatu seperti kemahiran uji tingkat manusia dalam pengaturan profesional untuk terjadi, model perlu menangani jutaan dan jutaan konteks,” komentar Xiong. “Setelah sesuatu seperti AGI terjadi, nilai yang diciptakannya mungkin jauh melebihi harapan siapa pun. Pada titik itu, akan sangat penting untuk memiliki model yang dapat kami bangun dan tawarkan kepada pelanggan kami. ”
Jadwal pertadingan malam ini
Situs berita olahraga khusus sepak bola adalah platform digital yang fokus menyajikan informasi, berita, dan analisis terkait dunia sepak bola. Sering menyajikan liputan mendalam tentang liga-liga utama dunia seperti Liga Inggris, La Liga, Serie A, Bundesliga, dan kompetisi internasional seperti Liga Champions serta Piala Dunia. Anda juga bisa menemukan opini ahli, highlight video, hingga berita terkini mengenai perkembangan dalam sepak bola.
Comments are closed, but trackbacks and pingbacks are open.