Llama 3.1 — 70B Instruct
нейрожелі
Табиғи және дәйекті әңгімелер үшін оңтайландырылған 70 миллиард параметрлі Llama 3.1 нұсқаулық нұсқасы. Чат-боттарға, виртуалды көмекшілерге және нұсқауларды дәл орындау мен толық жауап беру маңызды тапсырмаларға жарамды. Тестілеу және жеке кабинеттен біріктіру үшін BotHub-та қолжетімді.
Сипаттамалары
- Кіріс деректер
- мәтін, кескіндер, құжаттар
- Нәтиже
- мәтін
- Контекст өлшемі
- 131 072 токен
- Жауап ұзындығы бойынша ең көп шек
- 8 192 токен
- Мүмкіндіктер
- функцияларды шақыру
Промптың құны
(1М токенге қарай)
Жауаптың құны
(1М токенге қарай)
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.1-70b-instruct',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.1-70b-instruct',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Қалай жұмыс істейді Llama 3.1 — 70B Instruct?
BotHub-та Llama 3.1 70B моделін қолданып көріңіз — жеке кабинетте сынақ сеансын іске қосыңыз.Llama 3.1 — 70B Instruct туралы жиі қойылатын сұрақтар
Генерация нәтижелерін коммерциялық мақсатта пайдалана аласыз. Жасалған контентке барлық құқық сізге тиесілі. Жалғыз шектеу: сұрауда үшінші тараптардың авторлық құқықпен қорғалған материалдары пайдаланылмағанына көз жеткізіңіз. Кіріс деректерінің құқықтарын сақтау жауапкершілігі пайдаланушыға жүктеледі.
Llama 3.1 70B Instruct моделі — мәтінді түрлендіру, құжаттармен және кескіндермен жұмыс істеуді орындайтын нұсқаулыққа бағытталған тілдік қозғалтқыш. Толық жауаптар беруге, құжаттарды өңдеуге, құрылымдық нәтижелерді жасауға, кодпен көмектесуге және құралдар арқылы тапсырмаларды автоматтандыруға жарамды.
Модель бір жауапта 16384 шығыс токеніне дейін бере алады, ал 131072 токенге дейінгі контекст ұзындығы кіріс деректерінің үлкен көлемін ескеруге мүмкіндік береді. Бұл бір сұраныс аясында толық мәтіндер мен құжаттарды құруға мүмкіндік береді.
Біздің деректерде «жауап берер алдында ойлану» туралы белгі жоқ. Модель сұраныс бойынша кезең-кезеңімен түсініктемелер мен толық дәлелдер келтіре алады, бірақ жасырын chain-of-thought қолдауы қолжетімді ақпаратта расталмаған.
Иә, модель функцияларды шақыруды және JSON-ды қоса алғанда, құрылымдық шығысты қолдайды. Бұл сыртқы сервистермен біріктіруге, автоматтандыруға және құралдар мен API арқылы машиналық оқылатын жауаптарды қалыптастыруға ыңғайлы.
Біздің деректерде модель мәтін мен визуалды деректерді біріктіруге мүмкіндік беретін суреттер мен құжаттарды қабылдайтыны көрсетілген. Аудио немесе бейнені қабылдау туралы қолжетімді ақпаратта нақты ешнәрсе айтылмаған, интеграция кезінде мұндай форматтарды қолдауын нақтылаңыз.
Орыс тілін түсінудің нақты бағасы деректерде көрсетілмеген. Llama сериясы көптілді мүмкіндіктерге ие және орыс тіліндегі мәтіндермен жұмыс істей алады, бірақ сапасы әр түрлі болуы мүмкін; нәтижелерді тексеріп, қажет болған жағдайда BotHub-тағы модельдерді салыстыруды ұсынамыз.