Meta: Llama 3.1 70B Instruct
meta-llama/llama-3.1-70b-instruct
Meta's latest class of model (Llama 3.1) launched with a variety of sizes & flavors. This 70B instruct-tuned version is optimized for high quality dialogue usecases. It has demonstrated strong...
Modalitäten
Text
In / out Preis
702 ₩ / 702 ₩
1M
Kontext
131.072
Veröffentlicht
23.07.2024
FAQ
Häufig gestellte Fragen
Wie rufe ich dieses Modell auf?
Sende eine Anfrage an `/api/v1/chat/completions`, wobei `model` auf diese Modell-ID gesetzt ist. Das Ändern der base_url des OpenAI SDKs ist ausreichend.
Wie wird der Preis berechnet?
Die Upstream-Kosten in USD werden mit dem Wechselkurs und der Marge multipliziert, um einen Preis in KRW zu ermitteln. Die Kosten jeder Anfrage werden in den Response-Headern und in Ihrem Aktivitätsprotokoll aufgezeichnet.
Läuft dies auf einer lokalen GPU?
Wenn eine lokale GPU dieses Modell bereitstellt, wird diese zuerst verwendet. Wenn kein lokaler Slot verfügbar ist oder ein Fehler auftritt, wird die Anfrage an einen externen Anbieter weitergeleitet.
Werden meine Konversationen gespeichert?
API-Request-Bodies werden niemals gespeichert. Nur Konversationen aus dem Chat-Bildschirm werden gespeichert, und dies kann in den Einstellungen deaktiviert werden.