Inkling Small (12B MoE)
нейросеть
Inkling Small — открытая мультимодальная модель от Thinking Machines Lab с архитектурой mixture-of-experts: из общего пула 276B задействуется 12B активных параметров, что уменьшает вычислительные затраты. Подходит для прототипирования и интеграции мультимодальных функций (текст и изображения) в приложения, где важны скорость и экономичность. Доступна на BotHub для удобного тестирования и внедрения.
Характеристики
- Входные данные
- текст, изображения, документы
- Результат
- текст
- Размер контекста
- 524 288 токенов
- Макс. длина ответа
- 262 144 токена
- Уровни рассуждений
- без рассуждений, минимальный, низкий, средний, высокий, max
- Возможности
- рассуждения, вызов функций
Стоимость промпта
(за 1M токенов)
Стоимость ответа
(за 1M токенов)
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'inkling-small:batch',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'inkling-small:batch',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Как работает Inkling Small (12B MoE)?
Попробуйте Inkling Small на BotHub — быстрый и экономный доступ к мультимодальной модели.Частые вопросы о Inkling Small (12B MoE)
Вы можете использовать результаты генерации в коммерческих целях. Все права на созданный контент принадлежат вам. Единственное ограничение: убедитесь, что в запросе не использовались защищённые авторским правом материалы третьих сторон. Ответственность за соблюдение прав на входные данные лежит на пользователе.
Это мультизадачная текстовая модель с поддержкой документо- и image-to-text, внутреннего рассуждения и инструментов: хорошо подходит для извлечения информации из документов, суммаризации, анализа изображений с описанием, автоматизации рабочих процессов и пакетной обработки.
Модель может сгенерировать очень большой объём текста: максимальная длина выхода составляет 262144 токенов, а общий контекст поддерживает до 524288 токенов. Это подходит для длинных ответов, документов и сложной последовательной обработки.
Да. В модели отмечена возможность рассуждений перед ответом, поэтому она может выполнять пошаговый анализ и обосновывать выводы. Вы можете запрашивать пояснения и смотреть промежуточные рассуждения для отладки и валидации ответов.
Да. Inkling Small (Batch) поддерживает вызов функций и структурированный вывод в формате JSON, что позволяет интегрировать модель в автоматизированные системы и получать машинно-читабельные ответы для дальнейшей обработки инструментами и сервисами.
В наших данных указано, что модель принимает на вход изображения и документы, то есть вы можете загружать их для преобразования в текст и анализа. По поводу аудио и видео таких сведений нет, поэтому их поддержка в явном виде не подтверждена.
Точных данных о качестве понимания русского языка в информации нет. Модель работает с текстом и документами, поэтому вы можете тестировать её на ваших русскоязычных примерах и оценивать адекватность ответов, стилистическую корректность и терминологическую точность.