Llama 3.2 (3B) — Instruct
нейросеть
Llama 3.2 3B — 3‑миллиардная мультиязычная модель, оптимизированная для диалогов, рассуждений и суммаризации. Подходит для чат-ботов, ответов на вопросы, подготовки кратких и развёрнутых резюме и генерации контекстно-зависимых текстов. Доступна через BotHub без VPN и с оплатой в рублях.
Характеристики
- Входные данные
- текст, изображения, документы
- Результат
- текст
- Размер контекста
- 131 072 токена
- Макс. длина ответа
- 72 000 токенов
- Возможности
- вызов функций
Стоимость промпта
(за 1M токенов)
Стоимость ответа
(за 1M токенов)
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.2-3b-instruct',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.2-3b-instruct',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Как работает Llama 3.2 (3B) — Instruct?
Попробуйте Llama 3.2 3B на BotHub — доступ без VPN и оплата в рублях.Частые вопросы о Llama 3.2 (3B) — Instruct
Вы можете использовать результаты генерации в коммерческих целях. Все права на созданный контент принадлежат вам. Единственное ограничение: убедитесь, что в запросе не использовались защищённые авторским правом материалы третьих сторон. Ответственность за соблюдение прав на входные данные лежит на пользователе.
Llama 3.2 3B Instruct выполняет преобразование текста, извлечение и обобщение информации из документов, принимает изображения как вход и может работать с подключаемыми инструментами. Подходит для ответов по инструкциям, резюмирования, обработки документов и интеграции в прикладные решения.
Модель ограничена размерами контекста и максимального вывода: контекстный объём 131072 токена и максимальный вывод 117964 токенов. На практике интерфейс или API могут накладывать дополнительные ограничения, поэтому реальную длину ответа имеет смысл проверять в вашем окружении.
В предоставленных данных явная поддержка «рассуждения перед ответом» не отмечена; это не исключает возможности получать пошаговые рассуждения. Вы можете стимулировать модель к развернутому мышлению через промпты, но поведение лучше проверять на конкретных примерах.
Да, модель поддерживает вызов функций и структурированный вывод в формате JSON, что удобно для интеграции с внешними сервисами и автоматической обработкой ответов. Формат вывода стоит задавать явно в запросе, чтобы получить предсказуемые парсируемые результаты.
Llama 3.2 3B Instruct принимает изображения и документы как вход, что позволяет извлекать текст и контекст из файлов и картинок. В предоставленных данных про приём аудио или видео сведений нет, поэтому такие сценарии стоит уточнять через тестирование или документацию.
В данных про качество понимания русского явных сведений нет. Понимание языка зависит от тренировочных данных и примеров, поэтому рекомендуем прогнать типовые запросы и оценить результаты на ваших задачах, чтобы определить пригодность модели для русского.