Llama 3.1 — 8B (instruct)

нейрожелі

Llama 3.1 8B (instruct) — Meta ұсынған жаңа буын Llama моделінің ықшам, нұсқаулықтарға оңтайландырылған түрі. Ол жылдам жауап беруді және ресурстарды үнемді пайдалануды қамтамасыз етеді, чат-көмекшілерге, нұсқаулықтар жасауға және мәтіндерді өңдеуге өте қолайлы. BotHub жеке кабинеті арқылы VPN-сіз қолжетімді.

Сипаттамалары

Кіріс деректер
мәтін, кескіндер, құжаттар
Нәтиже
мәтін
Контекст өлшемі
131 072 токен
Жауап ұзындығы бойынша ең көп шек
16 384 токен
Мүмкіндіктер
функцияларды шақыру
2,17 ₽

Промптың құны

(1М токенге қарай)

4,34 ₽

Жауаптың құны

(1М токенге қарай)

*Бағалар API-ді ECO-провайдерлер арқылы қолданғанда көрсетілген.
bothub
BotHub: Нейрожелілерді тегін қолданып көріңізbot

Caps қалды: 0 CAPS
Llama 3.1 — 8B (instruct) үшін API және код үлгісіБіз OpenAI API-іне толық қолжетімділікті ұсынамыз. Біздің барлық соңғы нүктелер OpenAI-мен толық сәйкес келеді, оларды плагиндермен де, SDK арқылы өз бағдарламаңызды әзірлегенде де қолдануға болады.API кілтін жасау
import OpenAI from 'openai';
const openai = new OpenAI({
  apiKey: '<your bothub access token>',
  baseURL: 'https://openai.bothub.chat/v1'
});


// Sync - Text generation 

async function main() {
  const chatCompletion = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'llama-3.1-8b-instruct',
  });
} 

// Async - Text generation 

async function main() {
  const stream = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'llama-3.1-8b-instruct',
    stream: true
  });

  for await (const chunk of stream) {
    const part: string | null = chunk.choices[0].delta?.content ?? null;
  }
} 
main();
illustaration

Қалай жұмыс істейді Llama 3.1 — 8B (instruct)?

Llama 3.1 8B моделін BotHub-та сынап көріңіз — жылдам және VPN-сіз.

Llama 3.1 — 8B (instruct) туралы жиі қойылатын сұрақтар

Генерация нәтижелерін коммерциялық мақсатта пайдалана аласыз. Жасалған контентке барлық құқық сізге тиесілі. Жалғыз шектеу: сұрауда үшінші тараптардың авторлық құқықпен қорғалған материалдары пайдаланылмағанына көз жеткізіңіз. Кіріс деректерінің құқықтарын сақтау жауапкершілігі пайдаланушыға жүктеледі.

Llama 3.1 8B Instruct — нұсқаулықтармен жұмыс істеуге арналған модель: мәтін жасау, түзету, түйіндеу және құжаттарды өңдеу. Кескіндерді енгізуді және құралдарды интеграциялауды қолдайды, формалданған нәтиже беретін және ұзақ контекстті өңдейтін қосымшаларға жарайды.

Модель деректері бойынша шығыс мәтіннің максималды көлемі токендермен өлшенеді: максималды шығыс көлемі 117964 токен деп көрсетілген. Іс жүзінде жауаптың жалпы көлемі платформа параметрлеріне және енгізілген контексттің көлеміне байланысты болады.

Біздегі деректерде жауап алдында ойлау процесінің орнатылғаны туралы нақты белгі жоқ. Дегенмен, модельді промпттар мен құралдар арқылы кезең-кезеңімен талдау жасауға бағыттауға, сондай-ақ логикалық тізбектер үшін сыртқы логиканы интеграциялауға болады.

Иә, модель функцияларды шақыруды және JSON форматында құрылымды нәтиже беруді расталған түрде қолдайды, бұл қосымшалармен интеграциялауға өте ыңғайлы. Бұл әрі қарай өңдеу және автоматтандыру үшін болжамды деректер құрылымын қалыптастыруға мүмкіндік береді.

Модель деректері бойынша мәтіннен бөлек кескіндер мен құжаттарды енгізу қолдауы расталған. Аудио немесе видеоны қабылдау туралы деректерде ештеңе айтылмаған; егер бұл форматтармен жұмыс істеу қажет болса, платформадан қолдауын тексеріңіз немесе файлдарды конвертациялаңыз.

Қолжетімді деректерде орыс тілін түсіну сапасы туралы тікелей ақпарат жоқ. Модель мәтіндермен және құжаттармен жұмыс істеуге бағытталған, сондықтан түсіну сапасы промпттарға, мысалдарға және нақты тапсырмаға байланысты болады; өз сценарийлеріңізде тестілеуден өткізу ұсынылады.

Қолдау қызметі10:00-ден 18:00-ге дейін МСК жұмыс істейміз