Reconocimiento con IA

Visión general

El reconocimiento con IA es una tecnología de vanguardia en la inteligencia del drone. En este proyecto aprenderás a desplegar un modelo TinyYOLOv3 en el ESP32-S3 para realizar detección de objetivos.

Lo que aprenderás

• Despliegue de modelos de aprendizaje profundo
• Cuantización de modelos
• Optimización de la inferencia
• Algoritmos de detección de objetivos

Materiales necesarios

Artículo	Cantidad	Descripción
Drone ESP32-S3	1	-
Módulo de cámara OV2640	1	-
Tarjeta MicroSD	1	8GB o más

Paso 1: Preparar el modelo

1. Descarga un modelo TinyYOLOv3 preentrenado (conjunto de datos COCO)
2. Usa tensorflow lite converter para convertir el modelo al formato .tflite cuantizado a INT8
3. Copia el modelo y el archivo de etiquetas coco_labels.txt a la tarjeta MicroSD

Paso 2: Cableado del hardware

Módulo de tarjeta MicroSD → interfaz SPI del ESP32-S3

Paso 3: Abrir el proyecto

Descomprime ai_detection.zip y ábrelo con VS Code.

Paso 4: Implementar la función de inferencia del modelo

Abre yolo_detect.c e implementa la detección de objetivos:

void yolo_detect(uint8_t* frame, int width, int height,
                 Detection* detections, int* detection_count) {
    // 1. Preprocesar la imagen: redimensionar a 416x416 y normalizar
    preprocess_image(frame, width, height);

    // 2. Cargar el modelo y ejecutar la inferencia
    load_model("/sdcard/tiny_yolo_v3.tflite");
    run_inference(preprocessed_frame);

    // 3. Posprocesar: decodificar la salida y filtrar las detecciones de baja confianza
    decode_output(output, detections, detection_count);
    filter_detections(detections, detection_count, 0.5); // umbral de confianza 0.5
}

Paso 5: Probar

1. Coloca distintos objetivos delante del drone (personas, sillas)
2. Observa los resultados de la detección
3. Reto: añade una “prioridad de objetivos” para que el drone siga primero a las personas y no a otros objetos

Solución de problemas

La inferencia es lenta

• Optimiza el tamaño del modelo
• Usa la cuantización INT8

La precisión de detección es baja

• Ajusta el umbral de confianza
• Mejora la calidad de la imagen de entrada

Sensación de logro

¡Enhorabuena! Has implementado la detección de objetivos con IA, ¡una tecnología de vanguardia en la inteligencia del drone!

Siguiente paso

En el siguiente proyecto aprenderás a implementar una red MESH de múltiples drones.