Llama 3.1 — 8B (instruct)

нейросеть

Llama 3.1 8B (instruct) — компактная модель нового поколения Llama от Meta, оптимизированная под инструкции. Обеспечивает быстрый отклик и экономное использование ресурсов, хорошо подходит для чат-ассистентов, генерации инструкций и обработки текстов. Доступна через личный кабинет на BotHub без необходимости VPN и с оплатой в рублях.

Характеристики

Входные данные
текст, изображения, документы
Результат
текст
Размер контекста
131 072 токена
Макс. длина ответа
16 384 токена
Возможности
вызов функций
2,17 ₽

Стоимость промпта

(за 1M токенов)

4,34 ₽

Стоимость ответа

(за 1M токенов)

*Указаны цены при использовании API через ECO-провайдеров.
bothub
BotHub: Попробуйте нейросети бесплатноbot

Осталось Caps: 0 CAPS
Пример кода и API для Llama 3.1 — 8B (instruct)Мы предлагаем полный доступ к API OpenAI через наш сервис. Все наши конечные точки полностью соответствуют конечным точкам OpenAI, их можно использовать как с плагинами, так и при разработке собственного программного обеспечения через SDK.Создать API ключ
import OpenAI from 'openai';
const openai = new OpenAI({
  apiKey: '<your bothub access token>',
  baseURL: 'https://openai.bothub.chat/v1'
});


// Sync - Text generation 

async function main() {
  const chatCompletion = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'llama-3.1-8b-instruct',
  });
} 

// Async - Text generation 

async function main() {
  const stream = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'llama-3.1-8b-instruct',
    stream: true
  });

  for await (const chunk of stream) {
    const part: string | null = chunk.choices[0].delta?.content ?? null;
  }
} 
main();
illustaration

Как работает Llama 3.1 — 8B (instruct)?

Попробуйте Llama 3.1 8B на BotHub — быстро и без VPN.

Частые вопросы о Llama 3.1 — 8B (instruct)

Вы можете использовать результаты генерации в коммерческих целях. Все права на созданный контент принадлежат вам. Единственное ограничение: убедитесь, что в запросе не использовались защищённые авторским правом материалы третьих сторон. Ответственность за соблюдение прав на входные данные лежит на пользователе.

Llama 3.1 8B Instruct — модель для работы с инструкциями: генерация, редактирование, суммаризация и обработка документов. Поддерживает приём изображений как вход и интеграцию инструментов, подходит для приложений с формализованным выводом и обработкой длинного контекста.

По данным модели максимальный размер выходного текста измеряется в токенах: максимальный объём вывода указан как 117964 токенов. На практике итоговый объём ответа будет зависеть от настроек платформы и занимаемого входным контекстом места.

В наших данных отсутствует явная отметка о встроенной генерации рассуждений перед ответом. Тем не менее модель можно направлять промптами и инструментами для пошагового анализа, а также интегрировать внешнюю логику для явных цепочек рассуждений.

Да, модель подтверждённо поддерживает вызов функций и структурированный вывод в формате JSON, что удобно для интеграции с приложениями. Это позволяет формировать предсказуемые структуры данных для дальнейшей обработки и автоматизации.

По данным модели приём на вход помимо текста подтверждён для изображений и документов. Про приём аудио или видео в имеющихся данных не отмечено; при необходимости работы с этими форматами стоит уточнить поддержку у платформы или конвертировать файлы.

В доступных данных нет прямой информации о качестве понимания русского. Модель ориентирована на работу с текстами и документами, поэтому качество понимания будет зависеть от промптов, примеров и конкретной задачи; рекомендуется провести тестирование на ваших сценариях.

Служба поддержкиРаботаем с 10:00 до 18:00 по МСК