Meta: Llama 3.1 70B Instruct
meta-llama/llama-3.1-70b-instruct
Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 70B instruct-tuned version is optimized for high quality dialogue usecases. It has demonstrated strong...
Modalities
Teks
Harga in / out
₩702 / ₩702
1M
Context
131,07 rb
Dirilis
23 Jul 2024
FAQ
Pertanyaan yang sering diajukan
Bagaimana cara memanggil model ini?
Kirim permintaan ke `/api/v1/chat/completions` dengan `model` diatur ke ID model ini. Mengubah base_url pada OpenAI SDK sudah cukup.
Bagaimana harga dihitung?
Biaya upstream dalam USD dikalikan dengan nilai tukar dan margin untuk menghasilkan harga KRW. Biaya setiap permintaan dicatat dalam header respons dan dalam log aktivitas Anda.
Apakah ini berjalan di GPU lokal?
Jika GPU lokal melayani model ini, permintaan akan diprioritaskan ke sana. Jika tidak ada slot lokal atau terjadi kegagalan, permintaan akan dialihkan ke penyedia eksternal.
Apakah percakapan saya disimpan?
Body permintaan API tidak pernah disimpan. Hanya percakapan dari layar Chat yang disimpan, dan Anda dapat menonaktifkannya di pengaturan.