Llama 3.2 (3B) — Instruct

нейросеть

Llama 3.2 3B — 3‑миллиардная мультиязычная модель, оптимизированная для диалогов, рассуждений и суммаризации. Подходит для чат-ботов, ответов на вопросы, подготовки кратких и развёрнутых резюме и генерации контекстно-зависимых текстов. Доступна через BotHub без VPN и с оплатой в рублях.

Характеристики

Входные данные
текст, изображения, документы
Результат
текст
Размер контекста
131 072 токена
Макс. длина ответа
72 000 токенов
Возможности
вызов функций
5,53 ₽

Стоимость промпта

(за 1M токенов)

36,37 ₽

Стоимость ответа

(за 1M токенов)

*Указаны цены при использовании API через ECO-провайдеров.
bothub
BotHub: Попробуйте нейросети бесплатноbot

Осталось Caps: 0 CAPS
Пример кода и API для Llama 3.2 (3B) — InstructМы предлагаем полный доступ к API OpenAI через наш сервис. Все наши конечные точки полностью соответствуют конечным точкам OpenAI, их можно использовать как с плагинами, так и при разработке собственного программного обеспечения через SDK.Создать API ключ
import OpenAI from 'openai';
const openai = new OpenAI({
  apiKey: '<your bothub access token>',
  baseURL: 'https://openai.bothub.chat/v1'
});


// Sync - Text generation 

async function main() {
  const chatCompletion = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'llama-3.2-3b-instruct',
  });
} 

// Async - Text generation 

async function main() {
  const stream = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'llama-3.2-3b-instruct',
    stream: true
  });

  for await (const chunk of stream) {
    const part: string | null = chunk.choices[0].delta?.content ?? null;
  }
} 
main();
illustaration

Как работает Llama 3.2 (3B) — Instruct?

Попробуйте Llama 3.2 3B на BotHub — доступ без VPN и оплата в рублях.

Частые вопросы о Llama 3.2 (3B) — Instruct

Вы можете использовать результаты генерации в коммерческих целях. Все права на созданный контент принадлежат вам. Единственное ограничение: убедитесь, что в запросе не использовались защищённые авторским правом материалы третьих сторон. Ответственность за соблюдение прав на входные данные лежит на пользователе.

Llama 3.2 3B Instruct выполняет преобразование текста, извлечение и обобщение информации из документов, принимает изображения как вход и может работать с подключаемыми инструментами. Подходит для ответов по инструкциям, резюмирования, обработки документов и интеграции в прикладные решения.

Модель ограничена размерами контекста и максимального вывода: контекстный объём 131072 токена и максимальный вывод 117964 токенов. На практике интерфейс или API могут накладывать дополнительные ограничения, поэтому реальную длину ответа имеет смысл проверять в вашем окружении.

В предоставленных данных явная поддержка «рассуждения перед ответом» не отмечена; это не исключает возможности получать пошаговые рассуждения. Вы можете стимулировать модель к развернутому мышлению через промпты, но поведение лучше проверять на конкретных примерах.

Да, модель поддерживает вызов функций и структурированный вывод в формате JSON, что удобно для интеграции с внешними сервисами и автоматической обработкой ответов. Формат вывода стоит задавать явно в запросе, чтобы получить предсказуемые парсируемые результаты.

Llama 3.2 3B Instruct принимает изображения и документы как вход, что позволяет извлекать текст и контекст из файлов и картинок. В предоставленных данных про приём аудио или видео сведений нет, поэтому такие сценарии стоит уточнять через тестирование или документацию.

В данных про качество понимания русского явных сведений нет. Понимание языка зависит от тренировочных данных и примеров, поэтому рекомендуем прогнать типовые запросы и оценить результаты на ваших задачах, чтобы определить пригодность модели для русского.

Служба поддержкиРаботаем с 10:00 до 18:00 по МСК