Llama 3.2 1B (Instruct)
нейрожелі
Llama 3.2 1B (Instruct) — табиғи тілді тиімді өңдеуге оңтайландырылған, 1 миллиард параметрі бар тілдік модель. Ықшам өлшемінің арқасында ол төмен кідіріс пен ресурстарға қойылатын талаптардың азаюын қамтамасыз етеді, бұл чат-боттар, түйіндеу және көптілді мәтіндік талдау үшін ыңғайлы. BotHub арқылы қолжетімді — VPN-сіз және рубльмен төлеу мүмкіндігімен модельді тестілеудің және енгізудің ыңғайлы әрі үнемді жолы.
Сипаттамалары
- Кіріс деректер
- мәтін, кескіндер, құжаттар
- Нәтиже
- мәтін
- Контекст өлшемі
- 60 000 токен
- Жауап ұзындығы бойынша ең көп шек
- 54 000 токен
Промптың құны
(1М токенге қарай)
Жауаптың құны
(1М токенге қарай)
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.2-1b-instruct',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.2-1b-instruct',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Қалай жұмыс істейді Llama 3.2 1B (Instruct)?
Llama 3.2 1B-ді BotHub-та сынап көріңіз — прототиптер үшін жылдам әрі үнемді таңдау.Llama 3.2 1B (Instruct) туралы жиі қойылатын сұрақтар
Генерация нәтижелерін коммерциялық мақсатта пайдалана аласыз. Жасалған контентке барлық құқық сізге тиесілі. Жалғыз шектеу: сұрауда үшінші тараптардың авторлық құқықпен қорғалған материалдары пайдаланылмағанына көз жеткізіңіз. Кіріс деректерінің құқықтарын сақтау жауапкершілігі пайдаланушыға жүктеледі.
Llama 3.2 1B Instruct — мәтіндік тапсырмаларға арналған нұсқаулыққа негізделген модель: генерациялау, түйіндеу, құжаттардан ақпарат алу және кескіндерді мәтінге айналдыру. Контекст ұзындығының ұлғаюына және шығыс көлеміне байланысты өте ұзын контекстермен жұмыс істеуге жарамды.
Максималды шығыс көлемі 54000 токен деп көрсетілген; нақты сөз саны токенизация мен мазмұнға байланысты. Модель сонымен қатар 131072 токенге дейінгі контекстті қолдайды, бұл оны үлкен құжаттар мен ұзақ диалогтарды өңдеуге жарамды етеді.
Біздің деректерде модельдің түпкілікті жауап алдында ішкі кезеңдік пайымдауларды орындайтыны туралы белгіленбеген. Егер сіз үшін нақты пайымдаулар маңызды болса, шығыс кезінде кезеңдік түсіндірмені сұрап, оның сапасын өз тапсырмаларыңыз бойынша бағалай аласыз.
Біздің деректерде кіріктірілген function calling механизмінің бар екені көрсетілмеген. Модель мәтіндік нәтиже береді, ал құрылымдық JSON-ды мәтін ретінде алуға болады, бірақ API арқылы функцияларды шақырудың жергілікті қолдауы бізде расталмаған.
Модель кескіндер мен құжаттарды қабылдайды — бұл деректерде көрсетілген. Аудио мен видеоны қабылдау туралы біздің деректерде белгіленбеген, сондықтан олар бойынша нақты ақпарат жоқ; жұмыс процесіңіздің нақты мысалдарында оның әрекетін тексеріңіз.
Деректерде орыс тілін түсіну сапасын нақты бағалау жоқ. Модель мәтінмен жұмыс істейді, бірақ орыс тілі бойынша нақты көрсеткіштер берілмеген. Өз мысалдарыңызбен жеке тестілеу жүргізіп, нәтижелерді BotHub-тағы басқа модельдермен салыстыруды ұсынамыз.