Meta: Llama 3.1 70B Instruct
meta-llama/llama-3.1-70b-instruct
Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 70B instruct-tuned version is optimized for high quality dialogue usecases. It has demonstrated strong...
Modalidades
Texto
Precio entrada / salida
702 KRW / 702 KRW
1M
Contexto
131,07 mil
Lanzado
23 jul 2024
FAQ
Preguntas frecuentes
¿Cómo llamo a este modelo?
Envía una solicitud a `/api/v1/chat/completions` con `model` configurado con este ID de modelo. Cambiar el base_url del SDK de OpenAI es suficiente.
¿Cómo se calcula el precio?
El coste upstream en USD se multiplica por el tipo de cambio y el margen para producir un precio en KRW. El coste de cada solicitud se registra en los headers de la respuesta y en tu registro de actividad.
¿Se ejecuta en una GPU local?
Si una GPU local sirve este modelo, se utiliza primero. Cuando no hay un slot local o este falla, la solicitud pasa a un proveedor externo.
¿Se guardan mis conversaciones?
Los cuerpos de las solicitudes de la API nunca se guardan. Solo se guardan las conversaciones de la pantalla de Chat, y puedes desactivar eso en la configuración.