Beberapa parameter, banyak data

[iklan_1]

PaLM 2, model bahasa besar (LLM) terbaru Google yang diumumkan minggu lalu, menggunakan hampir lima kali jumlah data pelatihan dibandingkan pendahulunya tahun 2022, yang memungkinkannya melakukan pemrograman, matematika, dan pembuatan konten yang lebih maju.

Pada Konferensi Pengembang Google I/O, raksasa pencarian ini memperkenalkan PaLM 2 - sebuah model bahasa yang dilatih dengan 3,6 triliun token. Token-token ini merupakan rangkaian kata - blok penyusun yang digunakan untuk melatih LLM dalam memprediksi kata berikutnya.

Versi PaLM sebelumnya dirilis pada tahun 2022 dan dicetak dengan 780 miliar token.

CEO Google Sundar Pichai pada acara Google I/O minggu lalu memperkenalkan model bahasa besar terbaru perusahaan PaLM 2

Meskipun Google telah menggembar-gemborkan kehebatan AI-nya dalam pencarian, email, pengolah kata, dan spreadsheet, perusahaan tersebut enggan mengungkapkan ukuran atau detail set data pelatihannya. OpenAI juga merahasiakan detail algoritma pelatihan LLM terbarunya, GPT-4.

Perusahaan teknologi mengaitkan hal ini dengan sifat kompetitif bisnis mereka. Baik Google maupun OpenAI berlomba-lomba menarik pengguna dengan chatbot, alih-alih mesin pencari tradisional.

Kompak, bertenaga, hemat biaya

Google menyatakan PaLM 2 lebih kecil daripada pendahulunya, dengan 340 miliar parameter pelatihan, dibandingkan versi sebelumnya yang hanya 540 miliar. Hal ini menunjukkan bahwa teknologi perusahaan semakin efisien dalam menjalankan tugas-tugas kompleks.

Untuk mencapai hal ini, PaLM 2 menggunakan teknik baru yang disebut "optimasi komputasi lanjutan", yang memberikan "kinerja keseluruhan yang lebih baik, termasuk inferensi yang lebih cepat dengan lebih sedikit parameter yang mengurangi overhead".

Model AI bahasa terbaru Google, yang dilatih dalam lebih dari 100 bahasa, menjalankan berbagai tugas untuk 25 fitur dan produk, termasuk chatbot eksperimental Bard. PaLM 2 hadir dalam empat versi berdasarkan ukuran, dari terkecil hingga terbesar: Gecko, Otter, Bison, dan Unicorn.

Menurut dokumentasi publik, PaLM 2 lebih canggih daripada model mana pun yang ada. LlaMA Facebook, yang dirilis pada bulan Februari, dilatih dengan 1,4 triliun token. Sementara itu, OpenAI terakhir kali mengungkapkan ukuran data pelatihan untuk ChatGPT, versi GPT-3, dengan 300 miliar token.

Ledakan aplikasi AI telah memicu kontroversi seputar teknologi tersebut. Awal tahun ini, El Mahdi El Mhamdi, ilmuwan senior di Google Research, mengundurkan diri sebagai protes atas kurangnya transparansi raksasa pencarian tersebut.

Minggu ini, CEO OpenAI Sam Altman juga memberikan kesaksian di hadapan subkomite Kehakiman Senat AS tentang privasi dan teknologi dalam konteks AI yang semakin meluas, di mana "bapak" ChatGPT setuju dengan para legislator bahwa regulasi baru diperlukan untuk mengatur AI.

(Menurut CNBC)

[iklan_2]
Sumber