В предыдущем материале описывались ускорители GPU Tenstorrent и отмечалось, что несколько независимых тестов доступны в интернете.

Контекст и публичные бенчмарки

Отчёты независимых тестов рассматривают чистую пропускную способность, задержки и производительность инференса моделей в реальных условиях на типичных рабочих нагрузках и наборах данных.

Как правило, эти тесты сопоставляют оборудование Tenstorrent с альтернативами по показателям, таким как пропускная способность на ватт и устойчивая вычислительная производительность под нагрузкой.

Что будет освещено в следующем обновлении

Предстоящий пост суммирует наблюдаемые результаты, выделит зрелость программного обеспечения и драйверов, а также обозначит вопросы развертывания в продукционной среде.

Темы, которые будут рассмотрены, включают интеграцию с распространёнными фреймворками, наблюдаемую энергоэффективность и вариабельность производительности для разных типов моделей.

• Бенчмарки производительности на типичных рабочих нагрузках для обучения и инференса.
• Стек программного обеспечения готовность и совместимость с популярными фреймворками машинного обучения.
• Энергоэффективность и тепловое поведение при продолжительной работе.
• Развертывание соображения для центров обработки данных и edge-сценариев.

Как интерпретировать результаты

Бенчмарки следует рассматривать вместе с методологией тестирования, выбором наборов данных и деталями конфигурации, чтобы обеспечить корректные сравнения между платформами.

Читателям рекомендуется обратиться к оригинальным публичным тестам для полного описания методологии и сырых измерений перед тем, как делать выводы.