Switchyard

нейросеть

Switchyard — открытый роутер моделей для оптимизации стоимости запросов и автоматического выбора провайдера по рыночным данным.

Характеристики

Входные данные
текст, документы
Результат
текст
Размер контекста
1 000 000 токенов
Макс. длина ответа
330 000 токенов
bothub
BotHub: Нейрожелілерді тегін қолданып көріңізbot

Caps қалды: 0 CAPS
Switchyard үшін API және код үлгісіБіз OpenAI API-іне толық қолжетімділікті ұсынамыз. Біздің барлық соңғы нүктелер OpenAI-мен толық сәйкес келеді, оларды плагиндермен де, SDK арқылы өз бағдарламаңызды әзірлегенде де қолдануға болады.API кілтін жасау
import OpenAI from 'openai';
const openai = new OpenAI({
  apiKey: '<your bothub access token>',
  baseURL: 'https://openai.bothub.chat/v1'
});


// Sync - Text generation 

async function main() {
  const chatCompletion = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'switchyard',
  });
} 

// Async - Text generation 

async function main() {
  const stream = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'switchyard',
    stream: true
  });

  for await (const chunk of stream) {
    const part: string | null = chunk.choices[0].delta?.content ?? null;
  }
} 
main();
illustaration

Как работает Switchyard?

Switchyard — открытый роутер моделей, который переключается между несколькими моделями, чтобы оптимизировать стоимость запросов; по умолчанию использует рыночные данные OpenRouter для выбора популярных моделей. Он пригоден для интеграций, где важны автоматическое распределение нагрузки, резервирование и управление затратами на вычисления. Через BotHub вы подключаете Switchyard к экосистеме из более чем 250 моделей, пользуетесь единым OpenAI‑совместимым API для мультимодельных систем, получаете доступ из России без VPN и оплату в рублях по факту, а также удобное сравнение вариантов в одном окне. Сценарии применения: снижение расходов на inference в продакшене, фоллбек и балансировка между провайдерами, A/B‑тестирование моделей для продуктовой команды, автоматическое переключение по стоимости для стартапов и DevOps.

Частые вопросы о Switchyard

Вы можете использовать результаты генерации в коммерческих целях. Все права на созданный контент принадлежат вам. Единственное ограничение: убедитесь, что в запросе не использовались защищённые авторским правом материалы третьих сторон. Ответственность за соблюдение прав на входные данные лежит на пользователе.

Switchyard — модель для преобразования текста и работы с документами: TEXT_TO_TEXT и DOCUMENT_TO_TEXT. Подходит для разбора и суммаризации больших документов, извлечения информации и генерации развёрнутых ответов по длинному контексту благодаря очень большой контекстной памяти.

Switchyard может сгенерировать очень большой объём текста в одном отклике: в наших данных указан максимальный объём вывода в токенах. Конкретно модель поддерживает генерацию до 330000 выходных токенов, что позволяет формировать длинные развёрнутые ответы.

В наших данных отмечено не было, что модель выполняет внутренние рассуждения перед ответом, поэтому подтверждения нет. При этом большой контекст позволяет строить промпты с пошаговыми инструкциями, чтобы получить более развернутые логические выводы от модели.

В наших данных поддержка вызова функций и встроенного function calling не отмечена. Вы можете запросить структурированный текстовый вывод в формате JSON через промпт, однако официальной информации о нативной поддержке вызовов функций в модели в данных нет.

Switchyard принимает на вход документы и работает в режиме DOCUMENT_TO_TEXT. В наших данных отмечен приём документов; поддержка загрузки отдельных изображений, аудио или видео в явном виде в данных не указана, поэтому это следует уточнять при интеграции.

В данных языковая поддержка не указана, поэтому точную оценку понять сложно. Насколько хорошо модель понимает русский, зависит от её обучения и ваших задач. Рекомендуем протестировать на типичных промптах и документах, чтобы оценить качество в конкретных сценариях.

Қолдау қызметі10:00-ден 18:00-ге дейін МСК жұмыс істейміз