Human Action Recognition System

Camera an ninh và camera nhà máy quay nhiều tới mức chẳng ai xem lại hết. Hệ thống này xem giùm ngay lúc hình đang quay, nhận ra người trong hình đang làm gì và đánh dấu những lúc cần chú ý.

Nó chạy qua ba bước. YOLOv8 tìm từng người trong mỗi khung hình. ByteTrack giữ cho mỗi người một mã cố định qua các khung, kể cả khi họ bị che một lúc hay di chuyển nhanh. Sau đó MediaPipe lấy khung xương của từng người, và mô hình ST-GCN đoán hành động dựa trên cách các khớp chuyển động theo thời gian.

Nhìn chuyển động của khớp trong một khoảng thời gian, thay vì từng ảnh tĩnh, giúp kết quả ổn định hơn nhiều: hệ thống thấy được động tác chứ không chỉ một tư thế.

Hệ thống nhận ra hơn 20 hành động cần thiết tại hiện trường như ngã, đánh nhau, chạy, ngồi xổm, vận hành máy, mang vác và đứng không. Mỗi loại được chỉnh ngưỡng riêng: phát hiện ngã thì thà báo nhầm còn hơn bỏ sót, phát hiện đánh nhau thì hạn chế báo nhầm.