Intel OpenVINO Exportação

Neste guia, abordamos a exportação YOLO11 modelos para o formato OpenVINO , que pode fornecer até 3x de aceleração CPU , além de acelerar YOLO inferência sobre Intel Hardware GPU e NPU .

OpenVINO, abreviatura de Open Visual Inference & Neural Network Optimization toolkit, é um conjunto de ferramentas abrangente para otimizar e implementar modelos de inferência de IA. Embora o nome contenha Visual, o OpenVINO também suporta várias tarefas adicionais, incluindo linguagem, áudio, séries temporais, etc.

Ver: Como exportar e otimizar um modelo Ultralytics YOLOv8 para inferência com OpenVINO.

Exemplos de utilização

Exportar um modelo YOLO11n para OpenVINO formatar e executar inferência com o modelo exportado.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg' device="intel:gpu"

Argumentos de exportação

Para mais informações sobre o processo de exportação, visite a página de documentaçãoUltralytics sobre exportação.

Benefícios de OpenVINO

1. Desempenho: OpenVINO oferece inferência de alto desempenho utilizando o poder das CPUs Intel , GPUs integradas e discretas e FPGAs.
2. Suporte para execução heterogénea: OpenVINO fornece uma API para escrever uma vez e implementar em qualquer hardware Intel suportado (CPU, GPU, FPGA, VPU, etc.).
3. Optimizador de modelos: OpenVINO fornece um Optimizador de modelos que importa, converte e optimiza modelos de estruturas populares de aprendizagem profunda, como PyTorch, TensorFlowTensorFlow Lite, Keras, ONNX, PaddlePaddle, e Caffe.
4. Facilidade de utilização: O conjunto de ferramentas é fornecido com mais de 80 cadernos de tutoriais (incluindo YOLOv8 optimization) que ensinam diferentes aspectos do conjunto de ferramentas.

OpenVINO Estrutura de exportação

Quando se exporta um modelo para o formato OpenVINO , obtém-se um diretório que contém o seguinte:

1. Ficheiro XML: Descreve a topologia da rede.
2. Ficheiro BIN: Contém os dados binários do sítio weights and biases .
3. Ficheiro de mapeamento: Contém o mapeamento dos tensores de saída do modelo original para OpenVINO tensor nomes.

Pode utilizar estes ficheiros para executar a inferência com o motor de inferência OpenVINO .

Usando OpenVINO Exportar na implantação

Depois de o seu modelo ser exportado com sucesso para o OpenVINO formato, tem duas opções principais para executar a inferência:

1. Utilizar o ultralytics pacote, que fornece uma API de alto nível e envolve o OpenVINO Tempo de execução.

2. Use o nativo openvino pacote para um controlo mais avançado ou personalizado sobre o comportamento de inferência.

Inferência com Ultralytics

O ultralytics O pacote permite executar facilmente a inferência utilizando o exportado OpenVINO modelo através do método de previsão. Também pode especificar o dispositivo de destino (por ex. intel:gpu, intel:npu, intel:cpu) utilizando o argumento do dispositivo.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Esta abordagem é ideal para prototipagem ou implementação rápida quando não precisa de controlo total sobre o pipeline de inferência.

Inferência com OpenVINO Tempo de execução

O openvino O tempo de execução fornece uma API unificada para inferência em todos os suportados Intel ferragens. Também fornece recursos avançados, como balanceamento de carga em Intel hardware e execução assíncrona. Para mais informações sobre como executar a inferência, consulte os portáteis YOLO11 .

Lembre-se de que precisará dos ficheiros XML e BIN, bem como de quaisquer definições específicas da aplicação, como o tamanho da entrada, o fator de escala para normalização, etc., para configurar e utilizar corretamente o modelo com o tempo de execução.

Na sua aplicação de implantação, normalmente, efectuaria os seguintes passos:

1. Inicialize OpenVINO criando core = Core().
2. Carregar o modelo utilizando o core.read_model() método.
3. Compilar o modelo utilizando o core.compile_model() função.
4. Preparar a entrada (imagem, texto, áudio, etc.).
5. Executar a inferência utilizando compiled_model(input_data).

Para obter etapas mais detalhadas e trechos de código, consulte a documentaçãoOpenVINO ou o tutorial da API.

OpenVINO YOLO11 Referências

O Ultralytics equipa avaliada YOLO11 em vários formatos de modelos e precisão , avaliando a velocidade e a precisão em diferentes Intel dispositivos compatíveis com OpenVINO .

Intel Núcleo CPU

A série Intel® Core® é uma gama de processadores de alto desempenho da Intel. A linha inclui Core i3 (nível de entrada), Core i5 (gama média), Core i7 (topo de gama) e Core i9 (desempenho extremo). Cada série responde a diferentes necessidades e orçamentos informáticos, desde tarefas quotidianas a exigentes cargas de trabalho profissionais. A cada nova geração, são introduzidas melhorias no desempenho, na eficiência energética e nas funcionalidades.

Os benchmarks abaixo são executados no Intel® Core® i9-12900KS de 12ª geração CPU com precisão FP32.

Intel® Core™ Ultra

A série Intel® Core™ Ultra™ representa uma nova referência em computação de alto desempenho, concebida para satisfazer as crescentes exigências dos utilizadores modernos, desde jogadores e criadores a profissionais que utilizam IA. Esta formação de última geração é mais do que uma formação tradicional CPU série; combina poderosos CPU núcleos, alto desempenho integrado GPU capacidades e uma Unidade de Processamento Neural (NPU) dedicada dentro de um único chip, oferecendo uma solução unificada para cargas de trabalho de computação diversas e intensivas.

No coração da arquitetura Intel® Core Ultra™ está um design híbrido que permite um desempenho excecional em tarefas de processamento tradicionais, GPU - cargas de trabalho aceleradas e operações orientadas por IA. A inclusão da NPU melhora a inferência de IA no dispositivo, permitindo uma aprendizagem automática e um processamento de dados mais rápidos e eficientes numa vasta gama de aplicações.

A família Core Ultra™ inclui vários modelos adaptados para diferentes necessidades de desempenho, com opções que vão desde designs energeticamente eficientes a variantes de alta potência marcadas pela designação "H" — ideal para computadores portáteis e formatos compactos que exijam um grande poder de computação. Em toda a linha, os utilizadores beneficiam da sinergia de CPU , GPU , e integração de NPU, proporcionando uma notável eficiência, capacidade de resposta e capacidades multitarefa.

Como parte de Intel Com a inovação contínua da série Core Ultra™, esta define um novo padrão para a computação preparada para o futuro. Com vários modelos disponíveis e mais no horizonte, esta série destaca Intel O compromisso da em fornecer soluções de ponta para a próxima geração de dispositivos inteligentes melhorados por IA.

Os benchmarks abaixo são executados no Intel® Core™ Ultra™ 7 258V com precisão FP32 e INT8.

Intel® Core™ Ultra™ 7 258V

Referências

Intel® Arc™ integrado GPULago Meteoro Intel® CPUNPU Intel® AI Boost integrada

Modelo	Formato	Precisão	Estado	Tamanho (MB)	métricas/mAP50-95(B)	Tempo de inferência (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.6316	39.52
YOLO11n	OpenVINO	FP32	✅	10.4	0.6112	19.59
YOLO11n	OpenVINO	INT8	✅	3.3	0.6219	14.43
YOLO11s	PyTorch	FP32	✅	18.4	0.7469	104.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.7414	16.274
YOLO11s	OpenVINO	INT8	✅	9.8	0.7086	19.436
YOLO11m	PyTorch	FP32	✅	38.8	0.7642	286.281
YOLO11m	OpenVINO	FP32	✅	77.1	0.7642	18.69
YOLO11m	OpenVINO	INT8	✅	20.2	0.7445	21.74
YOLO11l	PyTorch	FP32	✅	49.0	0.7401	352.25
YOLO11l	OpenVINO	FP32	✅	97.3	0.7264	31.90
YOLO11l	OpenVINO	INT8	✅	25.7	0.7376	25.64
YOLO11x	PyTorch	FP32	✅	109.3	0.8467	731.15
YOLO11x	OpenVINO	FP32	✅	217.8	0.8308	45.12
YOLO11x	OpenVINO	INT8	✅	55.9	0.8156	32.57

Modelo	Formato	Precisão	Estado	Tamanho (MB)	métricas/mAP50-95(B)	Tempo de inferência (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.6316	39.52
YOLO11n	OpenVINO	FP32	✅	10.4	0.6082	30.21
YOLO11n	OpenVINO	INT8	✅	3.3	0.6256	17.98
YOLO11s	PyTorch	FP32	✅	18.4	0.7469	104.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.7400	81.09
YOLO11s	OpenVINO	INT8	✅	9.8	0.7488	41.04
YOLO11m	PyTorch	FP32	✅	38.8	0.7642	286.28
YOLO11m	OpenVINO	FP32	✅	77.1	0.7642	204.31
YOLO11m	OpenVINO	INT8	✅	20.2	0.7504	109.51
YOLO11l	PyTorch	FP32	✅	49.0	0.7401	352.25
YOLO11l	OpenVINO	FP32	✅	97.3	0.7249	319.97
YOLO11l	OpenVINO	INT8	✅	25.7	0.7318	136.44
YOLO11x	PyTorch	FP32	✅	109.3	0.8467	731.15
YOLO11x	OpenVINO	FP32	✅	217.8	0.8308	742.98
YOLO11x	OpenVINO	INT8	✅	55.9	0.819	288.02

Modelo	Formato	Precisão	Estado	Tamanho (MB)	métricas/mAP50-95(B)	Tempo de inferência (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.6316	39.52
YOLO11n	OpenVINO	FP32	✅	10.4	0.6096	11.58
YOLO11n	OpenVINO	INT8	✅	3.3	0.6380	12.60
YOLO11s	PyTorch	FP32	✅	18.4	0.7469	104.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.7430	15.15
YOLO11s	OpenVINO	INT8	✅	9.8	0.744	21.22
YOLO11m	PyTorch	FP32	✅	38.8	0.7642	286.28
YOLO11m	OpenVINO	FP32	✅	77.1	0.7642	32.92
YOLO11m	OpenVINO	INT8	✅	20.2	0.7445	21.74
YOLO11l	PyTorch	FP32	✅	49.0	0.7401	352.25
YOLO11l	OpenVINO	FP32	✅	97.3	0.7264	43.15
YOLO11l	OpenVINO	INT8	✅	25.7	0.7313	42.27
YOLO11x	PyTorch	FP32	✅	109.3	0.8467	731.15
YOLO11x	OpenVINO	FP32	✅	217.8	0.8308	74.33
YOLO11x	OpenVINO	INT8	✅	55.9	0.8211	59.41

Reproduzir os nossos resultados

Para reproduzir as referências Ultralytics acima em todos os formatos de exportação, execute este código:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml

Conclusão

Os resultados do benchmarking demonstram claramente os benefícios da exportação do YOLO11 modelo para o OpenVINO formatar. Em diferentes modelos e plataformas de hardware, o OpenVINO O formato supera consistentemente outros formatos em termos de velocidade de inferência, mantendo uma precisão comparável.

Os benchmarks sublinham a eficácia do OpenVINO como uma ferramenta para implementar modelos de aprendizagem profunda. Ao converter modelos para o formato OpenVINO , os programadores podem obter melhorias significativas no desempenho, facilitando a implementação destes modelos em aplicações do mundo real.

Para obter informações e instruções mais pormenorizadas sobre a utilização de OpenVINO, consulte a documentação oficial de OpenVINO .

FAQ

Como faço para exportar YOLO11 modelos para OpenVINO formatar?

Exportador YOLO11 modelos para o OpenVINO formato pode melhorar significativamente CPU velocidade e habilitar GPU e acelerações NPU em Intel ferragens. Para exportar, pode utilizar Python ou CLI conforme mostrado abaixo:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

Para mais informações, consultar a documentação sobre formatos de exportação.

Quais os benefícios de usar OpenVINO com YOLO11 modelos?

Usando Intel 's OpenVINO kit de ferramentas com YOLO11 modelos oferece vários benefícios:

1. Desempenho: Obtenha até 3x mais velocidade na inferência CPU e aproveite as GPUs e NPUs Intel para aceleração.
2. Optimizador de modelos: Converta, optimize e execute modelos de estruturas populares como PyTorch, TensorFlow, e ONNX.
3. Facilidade de utilização : Estão disponíveis mais de 80 cadernos tutoriais para ajudar os utilizadores a começar, incluindo alguns para YOLO11 .
4. Execução heterogénea: Implemente modelos em vários hardwares Intel com uma API unificada.

Para comparações de desempenho pormenorizadas, visite a nossa secção de referências.

Como posso executar inferência utilizando um YOLO11 modelo exportado para OpenVINO ?

Após exportar um modelo YOLO11n para OpenVINO formato, pode executar inferência utilizando Python ou CLI :

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Para mais informações, consulte a nossa documentação sobre o modo de previsão.

Por que razão devo escolher Ultralytics YOLO11 sobre outros modelos para OpenVINO exportar?

Ultralytics YOLO11 está otimizado para a deteção de objetos em tempo real com alta precisão e velocidade. Especificamente, quando combinado com OpenVINO , YOLO11 fornece:

• Até 3x mais rápido em CPUs Intel
• Implementação perfeita em Intel GPUs e NPUs
• Exatidão consistente e comparável em vários formatos de exportação

Para uma análise de desempenho mais aprofundada, consulte os nossos benchmarks detalhados YOLO11 em diferentes hardwares.

Posso fazer um benchmark YOLO11 modelos em diferentes formatos como PyTorch , ONNX , e OpenVINO ?

Sim, pode fazer benchmark YOLO11 modelos em vários formatos, incluindo PyTorch , TorchScript , ONNX , e OpenVINO . Utilize o seguinte trecho de código para executar benchmarks no conjunto de dados escolhido:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml

Para obter resultados detalhados dos testes de referência, consulte a nossa secção de testes de referência e a documentação sobre formatos de exportação.

📅C riado há 1 ano ✏️ Atualizado há 0 dias

Comentários