Switchyard
нейрожелі
Switchyard — сұраныс құнын оңтайландыруға және нарықтық деректер бойынша провайдерді автоматты таңдауға арналған ашық модельдік роутер.
Сипаттамалары
- Кіріс деректер
- мәтін, құжаттар
- Нәтиже
- мәтін
- Контекст өлшемі
- 1 000 000 токен
- Жауап ұзындығы бойынша ең көп шек
- 330 000 токен
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'switchyard',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'switchyard',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Қалай жұмыс істейді Switchyard?
Switchyard — сұраныс құнын оңтайландыру үшін бірнеше модель арасында ауысатын ашық модельдік роутер; әдепкі бойынша танымал модельдерді таңдау үшін OpenRouter нарықтық деректерін пайдаланады. Ол жүктемені автоматты бөлу, резервтеу және есептеу шығындарын басқару маңызды интеграциялар үшін жарамды. BotHub арқылы сіз Switchyard-ты 250-ден астам модельден тұратын экожүйеге қосасыз, мультимодельдік жүйелер үшін бірыңғай OpenAI-үйлесімді API пайдаланасыз, Ресейден VPN-сіз қол жеткізесіз, рубльмен төлейсіз және бір терезеде нұсқаларды ыңғайлы салыстыра аласыз. Пайдалану сценарийлері: өндірістегі inference шығындарын азайту, провайдерлер арасында фоллбек пен балансировка, өнім командасы үшін модельдерді A/B-тестілеу, стартаптар мен DevOps үшін құны бойынша автоматты ауысу.Switchyard туралы жиі қойылатын сұрақтар
Генерация нәтижелерін коммерциялық мақсатта пайдалана аласыз. Жасалған контентке барлық құқық сізге тиесілі. Жалғыз шектеу: сұрауда үшінші тараптардың авторлық құқықпен қорғалған материалдары пайдаланылмағанына көз жеткізіңіз. Кіріс деректерінің құқықтарын сақтау жауапкершілігі пайдаланушыға жүктеледі.
Switchyard — мәтінді түрлендіруге және құжаттармен жұмыс істеуге арналған модель: TEXT_TO_TEXT және DOCUMENT_TO_TEXT. Үлкен құжаттарды талдау мен суммаризациялауға, ақпаратты алуға және өте үлкен контекстік жадының арқасында ұзын контекст бойынша егжей-тегжейлі жауаптар генерациялауға жарамды.
Switchyard бір жауапта өте көп көлемдегі мәтінді генерациялай алады: біздің деректерде токендердегі шығыс көлемінің максималды мәні көрсетілген. Нақтырақ айтсақ, модель 330 000-ға дейін шығыс токендерін генерациялауды қолдайды, бұл ұзын және егжей-тегжейлі жауаптарды қалыптастыруға мүмкіндік береді.
Біздің деректерде модельдің жауап берер алдында ішкі пайымдау жасайтыны туралы белгіленбеген, сондықтан растау жоқ. Сонымен қатар, үлкен контекст модельден неғұрлым егжей-тегжейлі логикалық қорытындылар алу үшін қадамдық нұсқаулары бар промпттарды құруға мүмкіндік береді.
Біздің деректерде функцияларды шақыру (function calling) қолдауы белгіленбеген. Промпт арқылы JSON форматында құрылымдалған мәтіндік шығысты сұрай аласыз, алайда деректерде модельдегі функцияларды шақырудың жергілікті қолдауы туралы ресми ақпарат жоқ.
Switchyard құжаттарды қабылдайды және DOCUMENT_TO_TEXT режимінде жұмыс істейді. Біздің деректерде құжаттарды қабылдау белгіленген; жеке кескіндерді, аудио немесе бейнелерді жүктеу қолдауы анық көрсетілмеген, сондықтан мұны интеграциялау кезінде нақтылау керек.
Деректерде тілдік қолдау көрсетілмеген, сондықтан нақты бағасын түсіну қиын. Модельдің орыс тілін қаншалықты жақсы түсінетіні оның оқытуына және сіздің тапсырмаларыңызға байланысты. Нақты сценарийлердегі сапаны бағалау үшін типтік промпттар мен құжаттарда тестілеуді ұсынамыз.