概念概述

• 網格劃分：YOLO 首先將輸入圖像劃分為S×S網格。每個網格單元負責預測中心位于該單元內的物體。這種劃分使模型能夠定位物體并確保檢測分布在圖像上。

• 邊界框預測：對于每個網格單元，YOLO 會預測多個邊界框。每個邊界框預測包括坐標（中心、寬度和高度）以及置信度分數，該分數反映了邊界框的準確性以及該框包含特定對象的可能性。

• 類別概率：除了邊界框預測之外，每個網格單元還會預測其檢測到的對象屬于哪個類別的概率。這些概率取決于包含對象的網格單元。

• 組合預測：YOLO 流程的最后一步是將邊界框預測與類別概率相結合，以提供完整的檢測輸出。每個邊界框的置信度分數由類別概率調整，確保檢測既反映邊界框的準確性，又反映模型對對象類別的置信度。

YOLO 架構揭曉

從圖像到預測

• 卷積主干：YOLO 使用一系列卷積層作為主干。這些層負責從輸入圖像中提取特征。這些層的架構在 YOLO 的不同版本（例如 YOLOv3、YOLOv4 等）之間可能有所不同，每個版本都旨在在速度和準確性之間取得平衡。

• 特征提取：當圖像穿過卷積層時，網絡會提取和下采樣特征，從而創建一個豐富的特征圖，其中包含檢測所需的基本信息。

• 預測層：在網絡末端，YOLO 過渡到預測層，該層通常是具有特定數量濾波器的卷積層。這些濾波器對應于每個網格單元的預測向量，包括邊界框坐標、置信度分數和類別概率。

• 輸出張量：輸出是形狀為 (S×S×(B×5+C)) 的張量，其中S×S是網格大小，B是每個網格單元的邊界框數量，55 表示四個邊界框坐標加上置信度分數，C表示類別數量。此張量封裝了網絡對圖像進行的所有檢測。

代碼片段：加載和使用預訓練的 YOLO 模型

import torch
import torchvision.transforms as transforms
from PIL import Image


# Load a pre-trained YOLO model
model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)


# Function to perform object detection
def detect_objects(image_path):
# Load and transform the image
image = Image.open(image_path)
transform = transforms.Compose([
transforms.ToTensor(),
])
image = transform(image).unsqueeze(0) # Add batch dimension


# Perform inference
model.eval() # Set the model to evaluation mode
with torch.no_grad():
predictions = model(image)


# Process predictions
# Note: The output format can vary, so adjust the processing as needed
for pred in predictions[0]:
bbox = pred[:4] # Bounding box coordinates
score = pred[4] # Confidence score
class_id = pred[5] # Class ID
print(f'Class: {class_id}, Score: {score}, BBox: {bbox}')


# Example usage
detect_objects('path/to/your/image.jpg')

訓練 YOLO 模型

學會觀察

• 定位損失：損失函數的這一部分懲罰邊界框預測位置和大小的誤差。它通常關注預測邊界框坐標與地面真實坐標之間的差異，通常使用諸如平方誤差和之類的度量。

• 置信度損失：此組件懲罰邊界框置信度分數中的錯誤。置信度分數反映了模型對邊界框包含物體的確定性以及模型認為邊界框的準確度。對于包含物體的邊界框和不包含物體的邊界框，計算的損失不同，以幫助模型區分這兩種情況。

• 分類損失：損失函數的這一部分針對每個網格單元的類別概率預測。它通常涉及預測概率和獨熱編碼的真實類別標簽之間的分類交叉熵損失。

代碼片段：YOLO 的訓練設置

import torch
import torch.optim as optim


# Assuming yolo_model is your YOLO model and train_loader is your data loader


# Define the optimizer
optimizer = optim.Adam(yolo_model.parameters(), lr=0.001)


# Placeholder for the YOLO loss function
# Note: You'll need to define this based on the specific YOLO version and its output format
def yolo_loss(predictions, targets):
    # Compute localization loss, confidence loss, and classification loss
    # localization_loss = ...
    # confidence_loss = ...
    # classification_loss = ...
    
    # Combine the losses
    total_loss = localization_loss + confidence_loss + classification_loss
    return total_loss


# Training loop
for epoch in range(num_epochs):
    for images, targets in train_loader:  # Assuming targets contain ground truth
        optimizer.zero_grad()  # Zero the gradients
        
        # Forward pass
        predictions = yolo_model(images)
        
        # Compute loss
        loss = yolo_loss(predictions, targets)
        
        # Backward pass and optimize
        loss.backward()
        optimizer.step()
    
    print(f'Epoch [{epoch+1}/{num_epochs}], Loss: {loss.item()}')

YOLO 實際應用：真實世界的應用

超越基礎

• 監控：YOLO 的實時處理能力在監控系統中特別有用，它可以同時檢測和跟蹤多個物體，例如個人、車輛或任何異常活動，從而增強公共和私人空間的安全措施。

• 自動駕駛：在自動駕駛汽車領域，YOLO 有助于完成檢測和分類汽車、行人和交通標志等物體的關鍵任務，使汽車能夠做出明智的決策并安全行駛。

• 野生動物監測：YOLO 已被用于野生動物監測項目，它有助于自動檢測和識別自然棲息地中的物種，協助保護工作和生物多樣性研究。

• 零售和庫存管理：在零售領域，YOLO 可以通過實時檢測和跟蹤貨架上的產品來簡化庫存管理，并可以通過交互式顯示和監控來增強客戶體驗。

代碼片段：將 YOLO 應用于視頻流

import cv2
import torch


# Load the pre-trained YOLO model
model = torch.hub.load('ultralytics/yolov5', 'yolov5s', pretrained=True)


# Initialize the video stream (replace '0' with a video file path for processing a video file)
cap = cv2.VideoCapture(0)


while True:
    # Read frames from the video stream
    ret, frame = cap.read()
    if not ret:
        break


    # Convert the frame to the format expected by the model
    frame_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    results = model([frame_rgb], size=640)  # Adjust size as needed


    # Render the detections on the frame
    frame_with_detections = results.render()[0]


    # Convert the frame back to BGR for displaying with OpenCV
    frame_with_detections_bgr = cv2.cvtColor(frame_with_detections, cv2.COLOR_RGB2BGR)


    # Display the frame with detections
    cv2.imshow('YOLO Object Detection', frame_with_detections_bgr)


    # Break the loop when 'q' is pressed
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break


# Release the video stream and close windows
cap.release()
cv2.destroyAllWindows()