Llama 3.1 — 8B (instruct)
нейрожелі
Llama 3.1 8B (instruct) — Meta ұсынған жаңа буын Llama моделінің ықшам, нұсқаулықтарға оңтайландырылған түрі. Ол жылдам жауап беруді және ресурстарды үнемді пайдалануды қамтамасыз етеді, чат-көмекшілерге, нұсқаулықтар жасауға және мәтіндерді өңдеуге өте қолайлы. BotHub жеке кабинеті арқылы VPN-сіз қолжетімді.
Сипаттамалары
- Кіріс деректер
- мәтін, кескіндер, құжаттар
- Нәтиже
- мәтін
- Контекст өлшемі
- 131 072 токен
- Жауап ұзындығы бойынша ең көп шек
- 16 384 токен
- Мүмкіндіктер
- функцияларды шақыру
Промптың құны
(1М токенге қарай)
Жауаптың құны
(1М токенге қарай)
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.1-8b-instruct',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.1-8b-instruct',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Қалай жұмыс істейді Llama 3.1 — 8B (instruct)?
Llama 3.1 8B моделін BotHub-та сынап көріңіз — жылдам және VPN-сіз.Llama 3.1 — 8B (instruct) туралы жиі қойылатын сұрақтар
Генерация нәтижелерін коммерциялық мақсатта пайдалана аласыз. Жасалған контентке барлық құқық сізге тиесілі. Жалғыз шектеу: сұрауда үшінші тараптардың авторлық құқықпен қорғалған материалдары пайдаланылмағанына көз жеткізіңіз. Кіріс деректерінің құқықтарын сақтау жауапкершілігі пайдаланушыға жүктеледі.
Llama 3.1 8B Instruct — нұсқаулықтармен жұмыс істеуге арналған модель: мәтін жасау, түзету, түйіндеу және құжаттарды өңдеу. Кескіндерді енгізуді және құралдарды интеграциялауды қолдайды, формалданған нәтиже беретін және ұзақ контекстті өңдейтін қосымшаларға жарайды.
Модель деректері бойынша шығыс мәтіннің максималды көлемі токендермен өлшенеді: максималды шығыс көлемі 117964 токен деп көрсетілген. Іс жүзінде жауаптың жалпы көлемі платформа параметрлеріне және енгізілген контексттің көлеміне байланысты болады.
Біздегі деректерде жауап алдында ойлау процесінің орнатылғаны туралы нақты белгі жоқ. Дегенмен, модельді промпттар мен құралдар арқылы кезең-кезеңімен талдау жасауға бағыттауға, сондай-ақ логикалық тізбектер үшін сыртқы логиканы интеграциялауға болады.
Иә, модель функцияларды шақыруды және JSON форматында құрылымды нәтиже беруді расталған түрде қолдайды, бұл қосымшалармен интеграциялауға өте ыңғайлы. Бұл әрі қарай өңдеу және автоматтандыру үшін болжамды деректер құрылымын қалыптастыруға мүмкіндік береді.
Модель деректері бойынша мәтіннен бөлек кескіндер мен құжаттарды енгізу қолдауы расталған. Аудио немесе видеоны қабылдау туралы деректерде ештеңе айтылмаған; егер бұл форматтармен жұмыс істеу қажет болса, платформадан қолдауын тексеріңіз немесе файлдарды конвертациялаңыз.
Қолжетімді деректерде орыс тілін түсіну сапасы туралы тікелей ақпарат жоқ. Модель мәтіндермен және құжаттармен жұмыс істеуге бағытталған, сондықтан түсіну сапасы промпттарға, мысалдарға және нақты тапсырмаға байланысты болады; өз сценарийлеріңізде тестілеуден өткізу ұсынылады.