Camera chiều sâu là thiết bị quan trọng nhất cho robot thao tác, và cũng là thiết bị gây hiểu lầm nhiều nhất — vì mỗi công nghệ có một danh sách vật thể mà nó đơn giản là không thấy.
Camera đôi
Nguyên lý. Hai camera cách nhau một khoảng đã biết. Tìm điểm tương ứng giữa hai ảnh, tính chiều sâu bằng tam giác đạc.
Ưu điểm. Thụ động, không phát tia gì nên nhiều camera đôi hoạt động cạnh nhau không nhiễu. Dùng được ngoài trời. Có cả ảnh màu kèm chiều sâu.
Trường hợp thất bại chính. Bề mặt không có hoa văn. Tường trắng, mặt bàn nhẵn một màu, tấm nhựa đồng màu — không tìm được điểm tương ứng nên không có chiều sâu.
Thất bại thứ hai. Bề mặt lặp lại đều đặn. Gạch ô vuông, lưới, sọc — khớp nhầm chu kỳ nên cho chiều sâu sai một cách tự tin.
Độ chính xác giảm theo bình phương khoảng cách. Tốt ở gần, kém nhanh ở xa. Khoảng cách hữu ích phụ thuộc khoảng cách giữa hai mắt.
Cải thiện đơn giản. Chiếu một hoa văn hồng ngoại lên cảnh. Camera đôi có thêm đặc trưng để khớp, hoạt động được cả với tường trắng. Nhiều model thương mại làm đúng vậy.
Ánh sáng cấu trúc
Nguyên lý. Chiếu một hoa văn đã biết lên cảnh, camera nhìn hoa văn đó bị biến dạng thế nào, suy ra hình dạng bề mặt.
Ưu điểm. Rất chính xác ở tầm gần. Hoạt động tốt với bề mặt không hoa văn vì hoa văn do chính nó tạo ra.
Trường hợp thất bại. Ánh nắng. Ánh sáng mặt trời mạnh hơn nhiều so với đèn chiếu, làm hoa văn không nhìn thấy được. Gần như không dùng được ngoài trời ban ngày.
Thất bại thứ hai. Vật trong suốt và vật bóng. Hoa văn đi xuyên qua hoặc phản xạ sai. Cốc thuỷ tinh, chai nhựa trong, bề mặt kim loại bóng.
Thất bại thứ ba. Vùng khuất. Camera và bộ chiếu đặt lệch nhau nên có vùng camera thấy mà hoa văn không tới, hoặc ngược lại. Cho ra vùng trống trong bản đồ chiều sâu, thường ở mép vật.
Nhiễu giữa các thiết bị. Hai camera cùng loại chiếu vào cùng vùng thì hoa văn chồng lên nhau. Cần bố trí tránh hoặc dùng chế độ luân phiên.
Chỗ dùng tốt nhất. Trong nhà, tầm gần, vật không trong suốt. Nghĩa là phần lớn bài toán gắp và đặt trong công nghiệp.
Thời gian bay
Nguyên lý. Chiếu ánh sáng điều biến lên toàn cảnh, đo lệch pha ánh sáng phản xạ tại từng điểm ảnh.
Ưu điểm. Nhanh, cho toàn bộ khung hình chiều sâu cùng lúc. Không phụ thuộc hoa văn bề mặt. Tầm xa hơn ánh sáng cấu trúc.
Trường hợp thất bại — phản xạ nhiều đường. Ánh sáng bật qua nhiều bề mặt trước khi về, cho khoảng cách dài hơn thật. Xảy ra ở góc phòng và bề mặt lõm — chính là chỗ robot hay phải thao tác.
Thất bại thứ hai. Bề mặt phản xạ mạnh gây bão hoà; bề mặt hấp thụ mạnh cho tín hiệu yếu.
Thất bại thứ ba. Điểm ảnh ở mép vật nhận ánh sáng từ cả vật gần lẫn nền xa, cho giá trị trung bình vô nghĩa — hiện tượng điểm bay lơ lửng trong đám mây điểm.
Độ chính xác. Thường kém hơn ánh sáng cấu trúc ở tầm gần nhưng ổn định hơn ở tầm trung.
Chỗ dùng tốt nhất. Robot di động cần nhận biết không gian, phát hiện người, đo thể tích. Ít hợp cho thao tác chính xác cao.
Vật trong suốt và bóng — vấn đề chưa giải
Đáng có phần riêng vì nó ảnh hưởng tới rất nhiều ứng dụng thực tế.
Quy mô vấn đề. Cốc thuỷ tinh, chai nhựa trong, túi nilon, màng bọc, bề mặt inox bóng. Trong nhà hàng, siêu thị, bệnh viện thì đây là phần lớn vật thể.
Vì sao mọi cảm biến chiều sâu đều thất bại. Chúng đều giả định ánh sáng phản xạ khuếch tán từ bề mặt. Vật trong suốt cho ánh sáng đi xuyên; vật bóng phản xạ theo hướng gương.
Biểu hiện. Bản đồ chiều sâu có lỗ trống ở chỗ có vật, hoặc báo khoảng cách của thứ phía sau vật.
Hậu quả. Robot không thấy cái cốc thuỷ tinh trên bàn. Nó có thể đâm vào hoặc cố cầm chỗ không có gì.
Các hướng xử lý. Dùng ảnh màu và mô hình học sâu để nhận ra vật trong suốt từ dấu hiệu gián tiếp — méo hình phía sau, viền sáng. Dùng ánh sáng phân cực. Dùng camera nhiệt vì vật trong suốt với ánh sáng nhìn thấy thường không trong suốt với hồng ngoại xa.
Cách thực dụng nhất hiện nay. Tránh bài toán — dùng vật đục trong khâu tự động hoá, hoặc dán nhãn lên vật trong suốt. Không thanh lịch nhưng hiệu quả ngay.
Làm sạch và xử lý dữ liệu chiều sâu
Dữ liệu thô hầu như không dùng thẳng được.
Loại điểm không hợp lệ. Giá trị bằng không hoặc ngoài tầm đo. Chúng có mặt trong mọi khung hình.
Loại điểm bay. Điểm cô lập không thuộc bề mặt nào. Loại bằng cách kiểm số điểm lân cận trong bán kính nhỏ.
Lọc theo thời gian. Trung bình vài khung liên tiếp giảm nhiễu đáng kể, với điều kiện cảnh tĩnh.
Lọc giữ cạnh. Làm mượt bề mặt mà không làm nhoè mép vật. Quan trọng vì mép vật chính là chỗ robot cần chính xác nhất.
Cắt vùng quan tâm. Bỏ mọi điểm ngoài vùng làm việc. Giảm dữ liệu và loại nhiễu nền cùng lúc.
Loại mặt phẳng nền. Tìm và loại mặt bàn để chỉ còn vật thể. Bước tiền xử lý cơ bản cho bài toán gắp.
Kiểm chất lượng tự động. Đếm tỷ lệ điểm hợp lệ trong vùng quan tâm. Tỷ lệ giảm dần là dấu hiệu ống kính bẩn hoặc điều kiện chiếu sáng đã đổi — nên cảnh báo trước khi hệ thống bắt đầu làm sai.
Câu hỏi thường gặp
Camera đôi thất bại ở đâu?
Bề mặt không có hoa văn như tường trắng hay mặt bàn nhẵn, và bề mặt lặp lại đều đặn như gạch ô vuông vì khớp nhầm chu kỳ.
Vì sao ánh sáng cấu trúc không dùng được ngoài trời?
Vì ánh sáng mặt trời mạnh hơn nhiều so với bộ chiếu, làm hoa văn không nhìn thấy được nên không suy ra được hình dạng bề mặt.
Vấn đề chiều sâu nào chưa giải quyết được?
Vật trong suốt và vật bóng. Mọi cảm biến đều giả định ánh sáng phản xạ khuếch tán, nên cốc thuỷ tinh và bề mặt inox bóng cho lỗ trống hoặc giá trị của thứ phía sau.
Nên kiểm chất lượng dữ liệu chiều sâu thế nào?
Đếm tỷ lệ điểm hợp lệ trong vùng quan tâm. Tỷ lệ giảm dần là dấu hiệu ống kính bẩn hoặc điều kiện chiếu sáng đã đổi, nên cảnh báo sớm.
Đọc thêm trong Chip & bo điều khiển và Cơ cấu kẹp & gripper.
