Meta memperkenalkan model Llama 3.1 pada Juli 2024, yang mencakup versi 8B, 70B, dan 405B. Model bahasa besar multibahasa (LLM) ini dengan cepat menjadi beberapa model open-source paling populer, dengan jutaan unduhan dalam waktu singkat. Pada 6 Desember 2024, Meta merilis model Llama 3.3 70B Instruct. Model generatif berbasis teks yang disesuaikan untuk instruksi ini memiliki peningkatan dalam hal penalaran, matematika, pengetahuan umum, dan kemampuan mengikuti instruksi. Model ini memiliki performa yang serupa dengan model Llama 3.1 405B, namun ukurannya yang lebih kecil membuat biaya fine-tuning dan penerapannya lebih rendah dibandingkan pendahulunya tanpa mengorbankan performa. Ukurannya yang lebih kecil juga mempermudah adopsi karena kompatibel dengan lebih banyak bentuk GPU.
Model ini tersedia untuk diunduh dari situs web Meta dan di Hugging Face, repositori model online. Oracle Cloud Infrastructure (OCI) Data Science adalah platform bagi data scientist dan pengembang untuk bekerja dengan model open-source yang didukung oleh infrastruktur komputasi OCI, dengan fitur yang mendukung seluruh siklus hidup machine learning. Anda dapat membawa model Llama 3.3 70B Instruct dari Hugging Face atau Meta untuk digunakan di dalam OCI Data Science. OCI Data Science menyediakan AI Quick Actions, solusi tanpa kode yang memungkinkan pelanggan mengelola, menerapkan, fine-tuning, dan mengevaluasi model bahasa besar secara mudah di dalam platform.
Bekerja dengan Model Llama 3.3 di AI Quick Actions OCI Data Science
Anda dapat mengakses AI Quick Actions dari notebook Data Science. Untuk informasi lebih lanjut tentang memulai AI Quick Actions, lihat About AI Quick Actions. AI Quick Actions memiliki integrasi dengan Hugging Face yang memungkinkan pengguna dengan mudah membawa model apa pun dari Hugging Face, termasuk Llama 3.3 70B. Prosesnya dimulai dengan mendaftarkan model di AI Quick Actions.
Untuk mengakses model Llama 3.3 70B di Hugging Face, diperlukan persetujuan terhadap perjanjian pengguna Meta. Setelah Anda diberikan akses ke model, Anda dapat menghasilkan token dari Hugging Face untuk masuk ke Hugging Face CLI di terminal notebook yang Anda gunakan untuk mengakses AI Quick Actions. Gunakan perintah berikut untuk memvalidasi akses Anda:
huggingface-cli login <your-hugging-face-token></your-hugging-face-token>
Setelah itu, Anda dapat memulai proses pendaftaran model dengan memilih kartu Register new model di Model Explorer. Ini akan membuka panel Model Registration. Anda dapat memilih untuk mendaftarkan model apa pun dan mencarinya berdasarkan nama. Sebagai alternatif, Anda dapat mengunduh artefak model Llama 3.3 ke Object Storage Anda. AI Quick Actions juga mendukung penggunaan model dari Object Storage. Lanjutkan proses pendaftaran model dengan memilih opsi I have artifacts in Object Storage di bawah Model Artifact pada panel Model Registration. Setelah proses pendaftaran selesai, Anda dapat menerapkan dan fine-tuning model menggunakan container yang dikelola layanan oleh Data Science Service.
Mulai Bekerja dengan Model Llama 3.3 di OCI Data Science
OCI Data Science memungkinkan pelanggan untuk bekerja dengan model Llama terbaru dan mengikuti perkembangan pesat di ruang Generative AI.