Intel OpenVINO Exportação
Neste guia, abordamos a exportação YOLO11 modelos para o formato OpenVINO , que pode fornecer até 3x de aceleração CPU , além de acelerar YOLO inferência sobre Intel Hardware GPU e NPU .
OpenVINO, abreviatura de Open Visual Inference & Neural Network Optimization toolkit, é um conjunto de ferramentas abrangente para otimizar e implementar modelos de inferência de IA. Embora o nome contenha Visual, o OpenVINO também suporta várias tarefas adicionais, incluindo linguagem, áudio, séries temporais, etc.
Ver: Como exportar e otimizar um modelo Ultralytics YOLOv8 para inferência com OpenVINO.
Exemplos de utilização
Exportar um modelo YOLO11n para OpenVINO formatar e executar inferência com o modelo exportado.
Exemplo
from ultralytics import YOLO
# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")
# Export the model
model.export(format="openvino") # creates 'yolo11n_openvino_model/'
# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")
# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")
# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")
# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'
# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'
# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg' device="intel:gpu"
Argumentos de exportação
Argumento | Tipo | Predefinição | Descrição |
---|---|---|---|
format |
str |
'openvino' |
Formato de destino para o modelo exportado, definindo a compatibilidade com vários ambientes de implantação. |
imgsz |
int ou tuple |
640 |
Tamanho de imagem pretendido para a entrada do modelo. Pode ser um número inteiro para imagens quadradas ou uma tupla (height, width) para dimensões específicas. |
half |
bool |
False |
Permite a quantização FP16 (meia-precisão), reduzindo o tamanho do modelo e potencialmente acelerando a inferência no hardware suportado. |
int8 |
bool |
False |
Ativa a quantização INT8, comprimindo ainda mais o modelo e acelerando a inferência com uma perda mínima de precisão, principalmente para dispositivos de borda. |
dynamic |
bool |
False |
Permite tamanhos de entrada dinâmicos, aumentando a flexibilidade no tratamento de dimensões de imagem variáveis. |
nms |
bool |
False |
Adiciona Supressão Não Máxima (NMS), essencial para um pós-processamento de deteção preciso e eficiente. |
batch |
int |
1 |
Especifica o tamanho da inferência em lote do modelo de exportação ou o número máximo de imagens que o modelo exportado irá processar em simultâneo em predict modo. |
data |
str |
'coco8.yaml' |
Caminho para o conjunto de dados ficheiro de configuração (predefinição: coco8.yaml ), essencial para a quantização. |
fraction |
float |
1.0 |
Especifica a fração do conjunto de dados a utilizar para a calibração da quantização INT8. Permite a calibração num subconjunto do conjunto de dados completo, útil para experiências ou quando os recursos são limitados. Se não for especificado com a INT8 activada, será utilizado o conjunto de dados completo. |
Para mais informações sobre o processo de exportação, visite a página de documentaçãoUltralytics sobre exportação.
Aviso
O OpenVINO™ é compatível com a maioria dos processadores Intel®, mas para garantir um desempenho ideal:
-
Verifique o suporte OpenVINO™ Verifique se o seu chip Intel® é oficialmente compatível com o OpenVINO™ utilizando a lista de compatibilidade da Intel .
-
Identifique o seu acelerador Determine se o seu processador inclui uma NPU (Unidade de Processamento Neural) integrada ou GPU (integrado GPU ) consultando o guia de hardware da Intel .
-
Instale os controladores mais recentes se o seu chip suportar uma NPU ou GPU mas o OpenVINO™ não o deteta, poderá ser necessário instalar ou atualizar os controladores associados. Siga as instruções de instalação do controlador para ativar a aceleração total.
Seguindo estes três passos, pode garantir que o OpenVINO™ funciona perfeitamente no seu hardware Intel®.
Benefícios de OpenVINO
- Desempenho: OpenVINO oferece inferência de alto desempenho utilizando o poder das CPUs Intel , GPUs integradas e discretas e FPGAs.
- Suporte para execução heterogénea: OpenVINO fornece uma API para escrever uma vez e implementar em qualquer hardware Intel suportado (CPU, GPU, FPGA, VPU, etc.).
- Optimizador de modelos: OpenVINO fornece um Optimizador de modelos que importa, converte e optimiza modelos de estruturas populares de aprendizagem profunda, como PyTorch, TensorFlowTensorFlow Lite, Keras, ONNX, PaddlePaddle, e Caffe.
- Facilidade de utilização: O conjunto de ferramentas é fornecido com mais de 80 cadernos de tutoriais (incluindo YOLOv8 optimization) que ensinam diferentes aspectos do conjunto de ferramentas.
OpenVINO Estrutura de exportação
Quando se exporta um modelo para o formato OpenVINO , obtém-se um diretório que contém o seguinte:
- Ficheiro XML: Descreve a topologia da rede.
- Ficheiro BIN: Contém os dados binários do sítio weights and biases .
- Ficheiro de mapeamento: Contém o mapeamento dos tensores de saída do modelo original para OpenVINO tensor nomes.
Pode utilizar estes ficheiros para executar a inferência com o motor de inferência OpenVINO .
Usando OpenVINO Exportar na implantação
Depois de o seu modelo ser exportado com sucesso para o OpenVINO formato, tem duas opções principais para executar a inferência:
-
Utilizar o
ultralytics
pacote, que fornece uma API de alto nível e envolve o OpenVINO Tempo de execução. -
Use o nativo
openvino
pacote para um controlo mais avançado ou personalizado sobre o comportamento de inferência.
Inferência com Ultralytics
O ultralytics O pacote permite executar facilmente a inferência utilizando o exportado OpenVINO modelo através do método de previsão. Também pode especificar o dispositivo de destino (por ex. intel:gpu
, intel:npu
, intel:cpu
) utilizando o argumento do dispositivo.
from ultralytics import YOLO
# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/") # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu") # specify the device you want to run inference on
Esta abordagem é ideal para prototipagem ou implementação rápida quando não precisa de controlo total sobre o pipeline de inferência.
Inferência com OpenVINO Tempo de execução
O openvino O tempo de execução fornece uma API unificada para inferência em todos os suportados Intel ferragens. Também fornece recursos avançados, como balanceamento de carga em Intel hardware e execução assíncrona. Para mais informações sobre como executar a inferência, consulte os portáteis YOLO11 .
Lembre-se de que precisará dos ficheiros XML e BIN, bem como de quaisquer definições específicas da aplicação, como o tamanho da entrada, o fator de escala para normalização, etc., para configurar e utilizar corretamente o modelo com o tempo de execução.
Na sua aplicação de implantação, normalmente, efectuaria os seguintes passos:
- Inicialize OpenVINO criando
core = Core()
. - Carregar o modelo utilizando o
core.read_model()
método. - Compilar o modelo utilizando o
core.compile_model()
função. - Preparar a entrada (imagem, texto, áudio, etc.).
- Executar a inferência utilizando
compiled_model(input_data)
.
Para obter etapas mais detalhadas e trechos de código, consulte a documentaçãoOpenVINO ou o tutorial da API.
OpenVINO YOLO11 Referências
O Ultralytics equipa avaliada YOLO11 em vários formatos de modelos e precisão , avaliando a velocidade e a precisão em diferentes Intel dispositivos compatíveis com OpenVINO .
Nota
Os resultados dos testes de referência abaixo são para referência e podem variar com base na configuração exacta de hardware e software de um sistema, bem como na carga de trabalho atual do sistema no momento em que os testes de referência são executados.
Todos os benchmarks são executados com openvino
Python versão do pacote 2025.1.0.
Intel Núcleo CPU
A série Intel® Core® é uma gama de processadores de alto desempenho da Intel. A linha inclui Core i3 (nível de entrada), Core i5 (gama média), Core i7 (topo de gama) e Core i9 (desempenho extremo). Cada série responde a diferentes necessidades e orçamentos informáticos, desde tarefas quotidianas a exigentes cargas de trabalho profissionais. A cada nova geração, são introduzidas melhorias no desempenho, na eficiência energética e nas funcionalidades.
Os benchmarks abaixo são executados no Intel® Core® i9-12900KS de 12ª geração CPU com precisão FP32.

Modelo | Formato | Estado | Tamanho (MB) | métricas/mAP50-95(B) | Tempo de inferência (ms/im) |
---|---|---|---|---|---|
YOLO11n | PyTorch | ✅ | 5.4 | 0.61 | 28.73 |
YOLO11n | TorchScript | ✅ | 10.5 | 0.6082 | 36.27 |
YOLO11n | ONNX | ✅ | 10.2 | 0.6082 | 19.62 |
YOLO11n | OpenVINO | ✅ | 10.4 | 0.6082 | 12.72 |
YOLO11s | PyTorch | ✅ | 18.4 | 0.7526 | 35.28 |
YOLO11s | TorchScript | ✅ | 36.6 | 0.74 | 54.57 |
YOLO11s | ONNX | ✅ | 36.3 | 0.74 | 37.91 |
YOLO11s | OpenVINO | ✅ | 36.4 | 0.74 | 34.38 |
YOLO11m | PyTorch | ✅ | 38.8 | 0.7598 | 82.46 |
YOLO11m | TorchScript | ✅ | 77.3 | 0.7643 | 121.66 |
YOLO11m | ONNX | ✅ | 76.9 | 0.7643 | 87.21 |
YOLO11m | OpenVINO | ✅ | 77.1 | 0.7643 | 78.94 |
YOLO11l | PyTorch | ✅ | 49.0 | 0.743 | 111.51 |
YOLO11l | TorchScript | ✅ | 97.7 | 0.725 | 161.36 |
YOLO11l | ONNX | ✅ | 97.0 | 0.725 | 109.23 |
YOLO11l | OpenVINO | ✅ | 97.3 | 0.725 | 100.42 |
YOLO11x | PyTorch | ✅ | 109.3 | 0.8288 | 241.93 |
YOLO11x | TorchScript | ✅ | 218.1 | 0.8308 | 307.04 |
YOLO11x | ONNX | ✅ | 217.5 | 0.8308 | 205.75 |
YOLO11x | OpenVINO | ✅ | 217.8 | 0.8308 | 211.69 |
Intel® Core™ Ultra
A série Intel® Core™ Ultra™ representa uma nova referência em computação de alto desempenho, concebida para satisfazer as crescentes exigências dos utilizadores modernos, desde jogadores e criadores a profissionais que utilizam IA. Esta formação de última geração é mais do que uma formação tradicional CPU série; combina poderosos CPU núcleos, alto desempenho integrado GPU capacidades e uma Unidade de Processamento Neural (NPU) dedicada dentro de um único chip, oferecendo uma solução unificada para cargas de trabalho de computação diversas e intensivas.
No coração da arquitetura Intel® Core Ultra™ está um design híbrido que permite um desempenho excecional em tarefas de processamento tradicionais, GPU - cargas de trabalho aceleradas e operações orientadas por IA. A inclusão da NPU melhora a inferência de IA no dispositivo, permitindo uma aprendizagem automática e um processamento de dados mais rápidos e eficientes numa vasta gama de aplicações.
A família Core Ultra™ inclui vários modelos adaptados para diferentes necessidades de desempenho, com opções que vão desde designs energeticamente eficientes a variantes de alta potência marcadas pela designação "H" — ideal para computadores portáteis e formatos compactos que exijam um grande poder de computação. Em toda a linha, os utilizadores beneficiam da sinergia de CPU , GPU , e integração de NPU, proporcionando uma notável eficiência, capacidade de resposta e capacidades multitarefa.
Como parte de Intel Com a inovação contínua da série Core Ultra™, esta define um novo padrão para a computação preparada para o futuro. Com vários modelos disponíveis e mais no horizonte, esta série destaca Intel O compromisso da em fornecer soluções de ponta para a próxima geração de dispositivos inteligentes melhorados por IA.
Os benchmarks abaixo são executados no Intel® Core™ Ultra™ 7 258V com precisão FP32 e INT8.
Intel® Core™ Ultra™ 7 258V
Referências
Modelo | Formato | Precisão | Estado | Tamanho (MB) | métricas/mAP50-95(B) | Tempo de inferência (ms/im) |
---|---|---|---|---|---|---|
YOLO11n | PyTorch | FP32 | ✅ | 5.4 | 0.6316 | 39.52 |
YOLO11n | OpenVINO | FP32 | ✅ | 10.4 | 0.6112 | 19.59 |
YOLO11n | OpenVINO | INT8 | ✅ | 3.3 | 0.6219 | 14.43 |
YOLO11s | PyTorch | FP32 | ✅ | 18.4 | 0.7469 | 104.09 |
YOLO11s | OpenVINO | FP32 | ✅ | 36.4 | 0.7414 | 16.274 |
YOLO11s | OpenVINO | INT8 | ✅ | 9.8 | 0.7086 | 19.436 |
YOLO11m | PyTorch | FP32 | ✅ | 38.8 | 0.7642 | 286.281 |
YOLO11m | OpenVINO | FP32 | ✅ | 77.1 | 0.7642 | 18.69 |
YOLO11m | OpenVINO | INT8 | ✅ | 20.2 | 0.7445 | 21.74 |
YOLO11l | PyTorch | FP32 | ✅ | 49.0 | 0.7401 | 352.25 |
YOLO11l | OpenVINO | FP32 | ✅ | 97.3 | 0.7264 | 31.90 |
YOLO11l | OpenVINO | INT8 | ✅ | 25.7 | 0.7376 | 25.64 |
YOLO11x | PyTorch | FP32 | ✅ | 109.3 | 0.8467 | 731.15 |
YOLO11x | OpenVINO | FP32 | ✅ | 217.8 | 0.8308 | 45.12 |
YOLO11x | OpenVINO | INT8 | ✅ | 55.9 | 0.8156 | 32.57 |

Modelo | Formato | Precisão | Estado | Tamanho (MB) | métricas/mAP50-95(B) | Tempo de inferência (ms/im) |
---|---|---|---|---|---|---|
YOLO11n | PyTorch | FP32 | ✅ | 5.4 | 0.6316 | 39.52 |
YOLO11n | OpenVINO | FP32 | ✅ | 10.4 | 0.6082 | 30.21 |
YOLO11n | OpenVINO | INT8 | ✅ | 3.3 | 0.6256 | 17.98 |
YOLO11s | PyTorch | FP32 | ✅ | 18.4 | 0.7469 | 104.09 |
YOLO11s | OpenVINO | FP32 | ✅ | 36.4 | 0.7400 | 81.09 |
YOLO11s | OpenVINO | INT8 | ✅ | 9.8 | 0.7488 | 41.04 |
YOLO11m | PyTorch | FP32 | ✅ | 38.8 | 0.7642 | 286.28 |
YOLO11m | OpenVINO | FP32 | ✅ | 77.1 | 0.7642 | 204.31 |
YOLO11m | OpenVINO | INT8 | ✅ | 20.2 | 0.7504 | 109.51 |
YOLO11l | PyTorch | FP32 | ✅ | 49.0 | 0.7401 | 352.25 |
YOLO11l | OpenVINO | FP32 | ✅ | 97.3 | 0.7249 | 319.97 |
YOLO11l | OpenVINO | INT8 | ✅ | 25.7 | 0.7318 | 136.44 |
YOLO11x | PyTorch | FP32 | ✅ | 109.3 | 0.8467 | 731.15 |
YOLO11x | OpenVINO | FP32 | ✅ | 217.8 | 0.8308 | 742.98 |
YOLO11x | OpenVINO | INT8 | ✅ | 55.9 | 0.819 | 288.02 |

Modelo | Formato | Precisão | Estado | Tamanho (MB) | métricas/mAP50-95(B) | Tempo de inferência (ms/im) |
---|---|---|---|---|---|---|
YOLO11n | PyTorch | FP32 | ✅ | 5.4 | 0.6316 | 39.52 |
YOLO11n | OpenVINO | FP32 | ✅ | 10.4 | 0.6096 | 11.58 |
YOLO11n | OpenVINO | INT8 | ✅ | 3.3 | 0.6380 | 12.60 |
YOLO11s | PyTorch | FP32 | ✅ | 18.4 | 0.7469 | 104.09 |
YOLO11s | OpenVINO | FP32 | ✅ | 36.4 | 0.7430 | 15.15 |
YOLO11s | OpenVINO | INT8 | ✅ | 9.8 | 0.744 | 21.22 |
YOLO11m | PyTorch | FP32 | ✅ | 38.8 | 0.7642 | 286.28 |
YOLO11m | OpenVINO | FP32 | ✅ | 77.1 | 0.7642 | 32.92 |
YOLO11m | OpenVINO | INT8 | ✅ | 20.2 | 0.7445 | 21.74 |
YOLO11l | PyTorch | FP32 | ✅ | 49.0 | 0.7401 | 352.25 |
YOLO11l | OpenVINO | FP32 | ✅ | 97.3 | 0.7264 | 43.15 |
YOLO11l | OpenVINO | INT8 | ✅ | 25.7 | 0.7313 | 42.27 |
YOLO11x | PyTorch | FP32 | ✅ | 109.3 | 0.8467 | 731.15 |
YOLO11x | OpenVINO | FP32 | ✅ | 217.8 | 0.8308 | 74.33 |
YOLO11x | OpenVINO | INT8 | ✅ | 55.9 | 0.8211 | 59.41 |

Reproduzir os nossos resultados
Para reproduzir as referências Ultralytics acima em todos os formatos de exportação, execute este código:
Exemplo
from ultralytics import YOLO
# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")
# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")
# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml
Note-se que os resultados dos testes de referência podem variar com base na configuração exacta de hardware e software de um sistema, bem como na carga de trabalho atual do sistema no momento em que os testes de referência são executados. Para obter os resultados mais fiáveis, utilize um conjunto de dados com um grande número de imagens, ou seja data='coco128.yaml'
(128 imagens val), ou data='coco.yaml'
(5000 imagens val).
Conclusão
Os resultados do benchmarking demonstram claramente os benefícios da exportação do YOLO11 modelo para o OpenVINO formatar. Em diferentes modelos e plataformas de hardware, o OpenVINO O formato supera consistentemente outros formatos em termos de velocidade de inferência, mantendo uma precisão comparável.
Os benchmarks sublinham a eficácia do OpenVINO como uma ferramenta para implementar modelos de aprendizagem profunda. Ao converter modelos para o formato OpenVINO , os programadores podem obter melhorias significativas no desempenho, facilitando a implementação destes modelos em aplicações do mundo real.
Para obter informações e instruções mais pormenorizadas sobre a utilização de OpenVINO, consulte a documentação oficial de OpenVINO .
FAQ
Como faço para exportar YOLO11 modelos para OpenVINO formatar?
Exportador YOLO11 modelos para o OpenVINO formato pode melhorar significativamente CPU velocidade e habilitar GPU e acelerações NPU em Intel ferragens. Para exportar, pode utilizar Python ou CLI conforme mostrado abaixo:
Exemplo
from ultralytics import YOLO
# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")
# Export the model
model.export(format="openvino") # creates 'yolo11n_openvino_model/'
# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'
Para mais informações, consultar a documentação sobre formatos de exportação.
Quais os benefícios de usar OpenVINO com YOLO11 modelos?
Usando Intel 's OpenVINO kit de ferramentas com YOLO11 modelos oferece vários benefícios:
- Desempenho: Obtenha até 3x mais velocidade na inferência CPU e aproveite as GPUs e NPUs Intel para aceleração.
- Optimizador de modelos: Converta, optimize e execute modelos de estruturas populares como PyTorch, TensorFlow, e ONNX.
- Facilidade de utilização : Estão disponíveis mais de 80 cadernos tutoriais para ajudar os utilizadores a começar, incluindo alguns para YOLO11 .
- Execução heterogénea: Implemente modelos em vários hardwares Intel com uma API unificada.
Para comparações de desempenho pormenorizadas, visite a nossa secção de referências.
Como posso executar inferência utilizando um YOLO11 modelo exportado para OpenVINO ?
Após exportar um modelo YOLO11n para OpenVINO formato, pode executar inferência utilizando Python ou CLI :
Exemplo
from ultralytics import YOLO
# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")
# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")
# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'
Para mais informações, consulte a nossa documentação sobre o modo de previsão.
Por que razão devo escolher Ultralytics YOLO11 sobre outros modelos para OpenVINO exportar?
Ultralytics YOLO11 está otimizado para a deteção de objetos em tempo real com alta precisão e velocidade. Especificamente, quando combinado com OpenVINO , YOLO11 fornece:
- Até 3x mais rápido em CPUs Intel
- Implementação perfeita em Intel GPUs e NPUs
- Exatidão consistente e comparável em vários formatos de exportação
Para uma análise de desempenho mais aprofundada, consulte os nossos benchmarks detalhados YOLO11 em diferentes hardwares.
Posso fazer um benchmark YOLO11 modelos em diferentes formatos como PyTorch , ONNX , e OpenVINO ?
Sim, pode fazer benchmark YOLO11 modelos em vários formatos, incluindo PyTorch , TorchScript , ONNX , e OpenVINO . Utilize o seguinte trecho de código para executar benchmarks no conjunto de dados escolhido:
Exemplo
from ultralytics import YOLO
# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")
# Benchmark YOLO11n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")
# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml
Para obter resultados detalhados dos testes de referência, consulte a nossa secção de testes de referência e a documentação sobre formatos de exportação.