BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC LẠC HỒNG *** TRẦN VĂN MINH PHÁT HIỆN MẶT NGƢỜI TRONG ẢNH DỰA VÀO ĐẶC TRƢNG 3D LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Đồng Nai, Năm 2013 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC LẠC HỒNG *** TRẦN VĂN MINH PHÁT HIỆN MẶT NGƢỜI TRONG ẢNH DỰA VÀO ĐẶC TRƢNG 3D Chuyên ngành: Công Nghệ Thông Tin Mã số: 60.48.02.01 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: PGS.TS Đỗ Năng Toàn Đồng Nai, Năm 2013 LỜI CẢM ƠN Lời đầu tiên cho tôi gửi lời cảm ơn chân thành đến quý thầy cô đã cho tôi có kiến thức làm nền tảng để đi đến thực hiện luận văn ngày hôm nay. Xin tỏ lòng biết ơn sâu sắc, chân thành đến thầy PGS.TS Đỗ Năng Toàn người đã tận tình giúp đỡ, chỉ dạy và động viên tôi trong suốt thời gian thực hiện luận văn này. Con xin cảm ơn ba mẹ và những thành viên trong gia đình của mình đã cùng con chia sẽ nhưng khó khăn khi thực hiện luận văn này. Tôi xin cảm ơn các anh chị và đồng nghiệp đã tạo điều kiện và giúp đỡ tôi có được những khoảng thời gian để hoàn thành khóa học. Qua đây tôi xin gửi đến quý thầy cô cùng ba mẹ và các anh chị em đồng nghiệp cành hoa để cảm ơn những gì tốt đẹp nhất mà mọi người dành cho tôi với tất cả tấm lòng mình! Trân trọng ! Đồng Nai, ngày 10 tháng 6 năm 2013. Trần Văn Minh LỜI CAM ĐOAN Tôi xin cam đoan : Luận văn này là công trình nghiên cứu thật sự của cá nhân, được thực hiện dưới sự hướng dẫn khoa học của PGS.TS Đỗ Năng Toàn. Các số liệu và thông tin thứ cấp sử dụng trong luận văn được trích dẫn rõ ràng. Tôi hoàn toàn chịu trách nhiệm về tính xác thực và nguyên bản của luận văn. Học viên Trần Văn Minh DANH MỤC CÁC BẢNG Trang Bảng 2.1 Các thông tin trên một vùng không gian nút ............................................... 34 Bảng 2.2 Khoảng cách Euclide của mỗi nút so với các nút cùng mức....................... 34 Bảng 2.3 Vị trí tương đối của nút con so với nút gốc................................................. 35 Bảng 3.1 Kết quả thử nghiệm trên thư viện Markus Weber ....................................... 52 Bảng 3.2 Kết quả thử nghiệm trên tập không có khuôn mặt ...................................... 53 DANH MỤC HÌNH ẢNH Trang Hình 1.1 Mô phỏng quá trình xử lý ảnh ....................................................................... 3 Hình 1.2 Mô phỏng các bước trong một hệ thống xử lý ảnh ....................................... 4 Hình 1.3 Ví dụ hệ thống phát hiện khuôn mặt ............................................................. 6 Hình 1.4 Hệ thống kiểm soát ra vào dựa vào kỹ thuật phát hiện mặt người ............... 8 Hình 1.5 Mô hình tổng quát các phương pháp giải quyết phát hiện mặt người ........... 9 Hình 1.6 Phương pháp sử dụng đa độ phân giải ........................................................ 10 Hình 1.7 Tri thức của chuyên gia nghiên cứu phân tích trên khuôn mặt ................... 11 Hình 1.8 Mô tả phương pháp chiếu ............................................................................ 11 Hình 1.9 Chiếu từng phần ứng viên để xác thực thành phần khuôn mặt ................... 12 Hình 1.10 Mẫu so sánh khớp sử dụng 23 quan hệ ..................................................... 16 Hình 1.11 Mô hình mạng nơ ron của Rowley ............................................................ 18 Hình 1.12 Kiến trúc hệ thống phát hiện khuôn mặt dựa trên mạng nơ ron ................ 19 Hình 1.13 Dùng HMM xác định khuôn mặt .............................................................. 22 Hình 1.14 Mô hình Markow ẩn .................................................................................. 22 Hình 2.1 Những điểm tương quan giữa các thành phần trên khuôn mặt 2D và 3D ... 25 Hình 2.2 Thông tin các điểm xương và rãnh trên ảnh vệ tinh .................................... 26 Hình 2.3 Thông tin các điểm xương và rãnh trên ảnh khuôn mặt .............................. 26 Hình 2.4 Dò tìm trên từng vùng ................................................................................. 27 Hình 2.5 Tập các bộ lọc kích thước S ........................................................................ 28 Hình 2.6 Tìm vùng 3D bằng nhiều mức giá trị dò ..................................................... 30 Hình 2.7 Khối 3D và kết xuất khung lưới tương ứng ................................................ 31 Hình 2.8 Ví dụ về khuôn mặt 3D và kết xuất khung lưới 3D của khuôn mặt ............ 31 Hình 2.9 Cách tạo cây bậc D cỡ K ............................................................................. 32 Hình 2.10 Cấu trúc cây rút các đặc trưng 3D từ hình 2.6........................................... 33 Hình 2.11 Mô tả cách quét để lưu thông tin mức sáng............................................... 35 Hình 2.12 Một số kết xuất khung lưới cơ bản ............................................................ 36 Hình 2.13 Các nút tạo thành từ xương và rãnh được rút trích theo mức ................ 36 Hình 2.14 Ảnh phân tích ............................................................................................ 37 Hình 2.15 Tính tổng mức sáng của hình chữ nhật R(l,t,r,b) ...................................... 37 Hình 2.16 Một số ảnh trong thư viện của Markus Weber .......................................... 39 Hình 2.17 Mẫu hình canh biên tại các vị trí trên khuôn mặt ...................................... 43 Hình 2.18 Gán nhãn bằng phương pháp thủ công ...................................................... 44 Hình 2.19 Các bước tiền xử lý để hiệu chỉnh độ sáng và cân bằng lược đồ .............. 45 Hình 2.20 Kiểm tra phát hiện khuôn mặt ................................................................... 46 Hình 2.21 Mô tả thuật toán giảm các ứng viên trùng lắp ........................................... 48 Hình 2.22 Luồng xử lý việc dò tìm khuôn mặt .......................................................... 50 Hình 3.1 Một số ảnh của tập ảnh Markus Weber ....................................................... 52 Hình 3.2 Tổ chức thư viện OpenCV .......................................................................... 53 Hình 3.3 Giao diện chính của chương trình ............................................................... 54 Hình 3.4 Một số trường hợp phát hiện đúng .............................................................. 55 Hình 3.5 Một số kết quả phát hiện thiếu .................................................................... 56 Hình 3.6 Một số kết quả không phát hiện được khuôn mặt ....................................... 57 MỤC LỤC PHẦN MỞ ĐẦU ............................................................................................................ 1 1. Lý do chọn đề tài ...................................................................................................... 1 2. Mục tiêu đề tài........................................................................................................... 1 3. Phạm vi nghiên cứu .................................................................................................. 2 4. Những đóng góp mới của đề tài .............................................................................. 2 CHƢƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN KHUÔN MẶT ................................. 3 1.1 CÁC KHÁI NIỆM LIÊN QUAN ĐẾN XỬ LÝ ẢNH ....................................... 3 1.1.1 XỬ LÝ ẢNH LÀ GÌ? ................................................................................. 3 1.1.2 CÁC KHÁI NIỆM CƠ BẢN ..................................................................... 4 1.2 BÀI TOÁN PHÁT HIỆN KHUÔN MẶT .......................................................... 5 1.2.1 GIỚI THIỆU ............................................................................................... 5 1.2.2 BÀI TOÁN PHÁT HIỆN KHUÔN MẶT TRONG ẢNH ....................... 5 1.2.3 NHỮNG KHÓ KHĂN VÀ THÁCH THỨC TRONG QUÁ TRÌNH PHÁT HIỆN KHUÔN MẶT ..................................................................... 7 1.2.4 CÁC LĨNH VỰC ỨNG DỤNG BÀI TOÁN PHÁT HIỆN KHUÔN MẶT ............................................................................................................. 7 1.2.4.1 HỆ THỐNG QUAN SÁT VÀ THEO DÕI HÀNH VI ............... 8 1.2.4.2 HỆ THỐNG TƢƠNG TÁC GIỮA NGƢỜI VÀ MÁY .............. 8 1.2.4.3 BẢO MẬT ...................................................................................... 8 1.2.4.4 MỘT SỐ ỨNG DỤNG KHÁC ..................................................... 9 1.3 CÁC PHƢƠNG PHÁP PHÁT HIỆN MẶT NGƢỜI TRONG ẢNH .............. 9 1.3.1 PHƢƠNG PHÁP TIẾP CẬN DỰA TRÊN CÁC LUẬT TRI THỨC . 10 1.3.2 PHƢƠNG PHÁP TIẾP CẬN DỰA TRÊN CÁC ĐẶC TRƢNG BẤT BIẾN ................................................................................................. 12 1.3.2.1 CÁC ĐẶC TRƢNG KHUÔN MẶT .......................................... 13 1.3.2.2 ĐẶC TRƢNG KẾT CẤU ........................................................... 14 1.3.2.3 ĐẶC TRƢNG SẮC MÀU CỦA DA .......................................... 14 1.3.2.4 ĐA ĐẶC TRƢNG ........................................................................ 14 1.3.3 PHƢƠNG PHÁP TIẾP CẬN DỰA TRÊN ĐỐI SÁNH MẪU ............. 15 1.3.3.1 XÁC ĐỊNH MẪU TRƢỚC......................................................... 15 1.3.3.2 CÁC MẪU BỊ BIẾN DẠNG ....................................................... 17 1.3.4 PHƢƠNG PHÁP TIẾP CẬN DỰA TRÊN KỸ THUẬT HỌC MÁY . 18 1.3.4.1 KIẾN TRÚC HOẠT ĐỘNG CỦA HỆ THỐNG ...................... 19 1.3.4.2 TIỀN XỬ LÝ................................................................................ 20 1.3.4.3 XÂY DỰNG MÔ HÌNH QUÁ TRÌNH HỌC ........................... 20 1.3.4.4 SUPPORT VECTOR MACHINE (SVM) ................................. 20 1.3.4.5 MẠNG LỌC THƢA (SPARSE NETWORK OF WINNOWS – SNOW) ................................................................. 21 1.3.4.6 MÔ HÌNH MARKOW ẨN ( HIDDEN MARKOW MODEL – HMM) ........................................................................................ 21 1.3.4.7 PHÂN LOẠI BAYES .................................................................. 22 1.3.5 PHƢƠNG PHÁP TIẾP CẬN DỰA VÀO ĐẶC TRƢNG 3D ............... 23 1.3.6 NHẬN XÉT CHUNG CÁC PHƢƠNG PHÁP TIẾP CẬN HIỆN TẠI ............................................................................................................. 23 1.4 PHẠM VI CỦA ĐỀ TÀI.................................................................................... 24 CHƢƠNG 2: PHÁT HIỆN KHUÔN MẶT DỰA VÀO ĐẶT TRƢNG 3D ............ 25 2.1 RÖT TRÍCH CÁC ĐẶC TRƢNG 3D .............................................................. 25 2.1.1 ĐIỂM 3D ................................................................................................... 27 2.1.2 DÒ TÌM VÀ RÚT TRÍCH CÁC VÙNG 3D .......................................... 27 2.1.3 DÒ TÌM VÀ RÚT TRÍCH CÁC VÙNG 3D Ở NHIỀU MỨC KHÁC NHAU ........................................................................................... 28 2.2 MÔ HÌNH KHUNG TRONG TIẾP CẬN 3D ................................................. 31 2.2.1 MÔ HÌNH KHUNG LƢỚI ...................................................................... 31 2.2.2 XÂY DỰNG CẤU TRÚC CÂY 3D ......................................................... 32 2.2.3 XÂY DỰNG KHUNG LƢỚI ................................................................... 35 2.2.4 TỐI ƢU HÓA VIỆC DÕ TÌM CÁC ĐẶC TRƢNG ............................. 36 2.2.5 CẮT TỈA CẤU TRÚC CÂY 3D .............................................................. 38 2.3 XÂY DỰNG TẬP MẪU .................................................................................... 38 2.4 CÁC KỸ THUẬT DÒ BIÊN ............................................................................. 39 2.4.1 KỸ THUẬT PHÁT HIỆN BIÊN TRỰC TIẾP ...................................... 40 2.4.2 KỸ THUẬT PHÁT HIỆN BIÊN GIÁN TIẾP ....................................... 42 2.5 GÁN NHÃN CANH BIÊN CÁC ĐẶC TRƢNG CỦA KHUÔN MẶT ......... 42 2.5.1 ĐỊNH NGHĨA CANH BIÊN GIỮA HAI ĐIỂM ĐẶC TRƢNG .......... 42 2.5.2 GÁN NHÃN .............................................................................................. 44 2.6 XỬ LÝ ĐỘ SÁNG VÀ ĐỘ TƢƠNG PHẢN TRÊN TẬP MẪU .................... 44 2.7 ÁP DỤNG MÔ HÌNH THỐNG KÊ ................................................................. 45 2.7.1 THỐNG KÊ .............................................................................................. 45 2.7.2 ĐÁNH GIÁ DỰA TRÊN SỐ LIỆU THU THẬP ĐƢỢC...................... 47 2.8 HUẤN LUYỆN DÒ TÌM KHUÔN MẶT ........................................................ 48 2.8.1 GIỚI THIỆU ............................................................................................. 48 2.8.2 HUẤN LUYỆN DÒ TÌM KHUÔN MẶT ............................................... 48 2.9 QUÁ TRÌNH DÒ TÌM KHUÔN MẶT ............................................................ 49 CHƢƠNG 3: THỬ NGHIỆM VÀ KẾT QUẢ ........................................................... 50 3.1 MÔI TRƢỜNG THỬ NGHIỆM ...................................................................... 50 3.2 KẾT QUẢ ............................................................................................................ 52 3.3 NHẬN XÉT ......................................................................................................... 53 3.4 GIAO DIỆN CHÍNH ......................................................................................... 53 3.5 MỘT SỐ MÀN HÌNH KẾT QUẢ VỀ. ............................................................ 54 CHƢƠNG 4: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN .......................................... 58 4.1 KẾT LUẬN ......................................................................................................... 57 4.2 HƢỚNG PHÁT TRIỂN .................................................................................... 57 4.2.1 ĐẶT VẤN ĐỀ ........................................................................................... 57 4.2.2 PHƢƠNG PHÁP THỰC HIỆN .............................................................. 58 1 PHẦN MỞ ĐẦU 1. Lý do chọn đề tài Bài toán phát hiện mặt người được bắt đầu nghiên cứu từ những năm 1970, và đã có rất nhiều công trình nghiên cứu về việc phát hiện mặt người trong ảnh, tuy nhiên cho đến hôm nay do sự đa dạng và tính phức tạp của thực tế do đó giải pháp toàn diện vẫn đang còn là một thách thức và đang trong giai đoạn nghiên cứu. Gần đây, lĩnh vực nghiên cứu nhận dạng đang được quan tâm nhiều nhất là nhận dạng khuôn mặt, vân tay, giọng nói …Trong đó phát hiện khuôn mặt chiếm một vị trí đáng kể và cũng không kém quan trọng. Nó được ứng dụng trong nhiều lĩnh vực cho các hệ thống an toàn bảo mật, hình sự… Xuất phát từ nhu cầu thực tế khoa học kỹ thuật phát triển những ứng dụng của nó trong đời sống trở nên phổ biến và tình hình tội phạm đang ngày càng phát triển, tinh vi hơn, ứng dụng phát hiện người trong ảnh, camera trở nên quan trọng vì nó giúp cho cơ quan an ninh nhanh chóng xác định được mục tiêu và hỗ trợ con người trong việc cảnh báo và bảo mật thông tin. Việc phát hiện khuôn mặt trong ảnh còn được dùng để đếm số người trong ảnh, việc đếm số người này có ý nghĩa thực tiễn trong cuộc sống như xác định được số lượng khách ra vào siêu thị, mật độ lưu thông trên đường… Như chúng ta đã biết khuôn mặt đóng vai trò quan trọng trong quá trình giao tiếp giữa người với người, và nó cũng mang một lượng thông tin trong đó như tuổi tác, giới tính, trạng thái cảm xúc…Nếu chúng ta để ý hơn thì khi hai người đối diện nói chuyện với nhau mình có thể biết người đó đang muốn nói cái gì. Do đó mà phát hiện khuôn mặt là một lĩnh vực nghiên cứu hấp dẫn và được nhiều người quan tâm. 2. Mục tiêu đề tài Nghiên cứu các đặc trưng 3D trên mặt người và kỹ thuật rút trích đặc trưng 3D phục vụ cho bài toán phát hiện mặt người. Trên cơ sở các kiến thức tìm hiểu được, xây dựng thử nghiệm chương trình phát hiện mặt người trong ảnh theo tiếp cận 3D. 2 3. Phạm vi nghiên cứu Trong luận văn này tôi hướng đến một tiếp cận mới hiệu quả cho việc giải quyết bài toán phát hiện khuôn mặt trong ảnh mà không giải quyết bài toán nhận dạng. 4. Những đóng góp mới của đề tài Đề tài giới thiệu hướng tiếp cận mới nhằm áp dụng các ưu điểm của một số phương pháp tiếp cận đã được nghiên cứu trước đó vào hướng tiếp cận mới 3D, góp phần nâng cao khả năng xử lý phát hiện và nhận dạng khuôn mặt. Là một nỗ lực nghiên cứu và tìm hiểu nhằm cung cấp nền tảng và tài nguyên cho các nghiên cứu sâu hơn. Với mục tiêu chính là tìm hiểu, nghiên cứu các đặc trưng 3D trên mặt người và kỹ thuật rút trích đặc trưng 3D, đồng thời áp dụng để phục vụ cho bài toán phát hiện mặt người trong ảnh, luận văn trình bày trong bốn chương với bố cục như sau: Chƣơng 1: Tổng quan về phát hiện khuôn mặt trong ảnh: Giới thiệu tổng quan về bài toán phát hiện mặt người trong ảnh, các ứng dụng, những khó khăn và thách thức mới trong việc giải bài toán trên, đồng thời xác định phạm vi của đề tài, cũng như xác định mục tiêu. Chƣơng 2: Phát hiện khuôn mặt dựa vào đặc trƣng 3D: Nói chi tiết bài toán phát hiện mặt người, các nghiên cứu và những kết quả đạt được của các nhà nghiên cứu trước đây từ đó rút ra các hướng tiếp cận trong việc giải quyết bài toán phát hiện mặt người trong ảnh. Đi sâu vào nghiên cứu các đặc trưng 3D và các kỹ thuật rút trích đặc trưng 3D đó, cách áp dụng vào bài toán phát hiện khuôn mặt trong ảnh. Chƣơng 3: Thử nghiệm và kết quả: Xây dựng thử nghiệm chương trình phát hiện mặt người trong ảnh theo tiếp cận dựa trên đặc trưng 3D. Nêu lên các phân tích – thiết kế của chương trình. Cuối cùng là Phần kết luận và hƣớng phát triển :Tóm tắt những kết quả đạt được, những khó khăn, hạn chế và đưa ra hướng phát triển trong tương lai. 3 CHƢƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN KHUÔN MẶT 1.1 Các khái niệm liên quan đến xử lý ảnh Trong những năm gần đây, khái niệm ảnh kỹ thuật số đã trở nên thân thiện với mọi người trong xã hội việc thu nhận ảnh và lưu trữ vào máy tính trở nên đơn giản hơn bao giờ hết. Với điều kiện như vậy xử lý ảnh trở thành một lĩnh vực được quan tâm và nghiên cứu bởi nhiều tác giả. Một câu hỏi mà mọi người đều muốn hiểu, xử lý ảnh là gì? 1.1.1 Xử lý ảnh là gì? Con người thu nhận thông tin qua các giác quan, trong đó thị giác đóng vai trò quan trọng nhất. Việc phần cứng phát triển kéo theo đồ họa và xử lý ảnh phát triển theo một cách mạnh mẽ, đã có nhiều ứng dụng trong cuộc sống. Quá trình xử lý ảnh được xem là một quá trình thao tác trên ảnh đầu vào nhằm cho ra một kết quả theo ý muốn. Kết quả đầu ra của một quá trình xử lý như vậy ảnh có thể tốt hơn hoặc là một kết luận nào đó. Ảnh tốt hơn Xử lý ảnh Kết luận Hình 1.1 Mô phỏng quá trình xử lý ảnh Một ảnh được xem là một tập hợp các điểm ảnh và mỗi điểm ảnh được xem là đặc trưng cường độ ánh sáng hay một dấu hiệu nào đó tại một vị trí của đối tượng trong không gian. Do đó ảnh trong xử lý ảnh có thể được xem là ảnh n chiều. Các bước cơ bản trong một hệ thống xử lý ảnh: 4 Ảnh đầu vào Tiền xử lý Phân đoạn Kết luận Lưu trữ Hậu xử lý Hỗ trợ ra quyết định Hình 1.2 Mô phỏng các bƣớc trong một hệ thống xử lý ảnh 1.1.2 Các khái niệm cơ bản + Ảnh và điểm ảnh: Điểm ảnh được xem là một dấu hiệu hay cường độ sáng tại một tọa độ trong không gian của đối tượng và ảnh được xem là một tập hợp các điểm ảnh. + Màu, mức xám: Là số giá trị có thể có của các điểm ảnh. + Khử nhiễu: Có hai loại nhiễu cơ bản là: - Nhiều hệ thống: Là nhiễu có quy luật và có thể khử nhiễu bằng các phép biến đổi. - Nhiễu ngẫu nhiên: Là các vết không rõ nguyên nhân có thể khử bằng các phép lọc. + Nén ảnh: Nhằm giảm thiểu không gian lưu trữ, thường được tiến hành theo cả hai khuynh hướng là nén có bảo toàn và nén không bảo toàn thông tin. + Phân tích ảnh: là khâu quan trọng trong quá trình xử lý ảnh nhằm tiến tới hiểu ảnh. Trong quá trình phân tích việc trích chọn các đặc điểm là bước quan trọng. + Chỉnh mức xám: Nhằm khắc phục tính không đồng đều của hệ thống. Có hai cách tiếp cận cơ bản: - Giảm số mức xám: Thực hiện bằng cách nhóm các mức xám gần nhau thành một mức chung. 5 - Tăng số mức xám: Thực hiện nội suy ra các mức xám trung gian bằng kỹ thuật nội suy. Kỹ thuật này nhằm tăng cường độ mịn cho ảnh. 1.2 Bài toán phát hiện khuôn mặt 1.2.1 Giới thiệu Trong cuộc sống những ứng dụng về nhận dạng khuôn mặt đang được chú tâm phát triển. Đây là lớp bài toán để giải quyết trong hệ thống máy và quan sát đám đông. Để nhận dạng được khuôn mặt trong ảnh thì vấn đề cốt lõi là làm sao phát hiện ra khuôn mặt đó trong ảnh, trước khi nhận dạng nó là ai, là cái gì…Và vấn đề phát hiện khuôn mặt trong ảnh là cần thiết cho bất cứ hệ thống xử lý nhận dạng khuôn mặt như xác thực người dùng, xác định các thành phần đặc trưng của khuôn mặt,… Cốt lõi trong hệ thống phát hiện mặt người là xác định xem có khuôn mặt người trong ảnh đầu vào hay không và nếu có thì chỉ ra vị trí, kích thước khuôn mặt có trong ảnh đó. Trong gần hai thập kỷ gần đây, vấn đề này được các nhà khoa học trên thế giới quan tâm nghiên cứu về bài toán phát hiện khuôn mặt người trong ảnh, từ ảnh đen trắng, xám đến ảnh màu và trong chuỗi ảnh video. Tuy nhiên do sự đa dạng và tính phức tạp của thực tế do đó giải pháp toàn diện vẫn đang còn là một thách thức và đang trong giai đoạn nghiên cứu. Xuất phát từ yêu cầu thực tế trên người thực hiện đã tìm hiểu và tập trung vào vấn đề nghiên cứu để phát hiện mặt người trong ảnh dựa vào đặc trưng 3D. 1.2.2 Bài toán phát hiện khuôn mặt trong ảnh Bài toán phát hiện mặt người là hệ thống nhận vào là một ảnh hoặc một đoạn video, qua xử lý trên máy tính thuật toán xác định được tất cả vị trí, kích thước khuôn mặt người trong ảnh đó, nhưng sẽ bỏ qua những thứ khác như ngôi nhà, mặt con vật, cơ thể con người ,… 6 Hệ thống phát hiện khuôn mặt trong ảnh Hình 1.3 Ví dụ hệ thống phát hiện khuôn mặt 7 1.2.3 Những khó khăn và thách thức trong quá trình phát hiện khuôn mặt Tuy được nghiên cứu từ những năm 70 nhưng do đây là một bài toán khó nên những nghiên cứu từ đó đến nay vẫn chưa đạt kết quả mong muốn, vì vậy việc xác định khuôn mặt trong ảnh có những khó khăn nhất định: - Nét mặt trong quá trình chụp hình sẽ khác nhau tùy thuộc vào tâm trạng của của người đó như lúc vui, buồn,…do đó khuôn mặt sẽ không giống với trạng thái mẫu lý tưởng. - Hướng của khuôn mặt đối với máy ảnh khi chụp: như nhìn thẳng, nhìn nghiên, dó đó cùng trong một ảnh mà có nhiều khuôn mặt ở nhiều tư thế khác nhau. - Điều kiện chụp ảnh thiếu ánh sáng làm cho chất lượng ảnh kém hoặc chụp ngược ánh sáng. - Trong quá trình chụp ảnh khuôn mặt bị che bởi một số vật chắn. - Sự có mặt của các chi tiết đi kèm với khuôn mặt như mắt kính, khảo trang,… Từ những khó khăn cơ bản được nêu ở trên chứng tỏ rằng bất cứ thuật toán xác định khuôn mặt nào cũng gặp phải những khuyết điểm nhất định. Do vậy để so sánh với các thuật toán xác định mặt người khác ta thường dựa trên các tiêu chí đánh giá sau: - Tỷ lệ phần trăm về vị trí xác định chính xác khuôn mặt, có xác định được tất cả khuôn mặt có trong ảnh không để so sánh với số lượng thực tế khuôn mặt trong ảnh đó. - Tổng thời gian để máy tính xác định được tất cả các khuôn mặt trong ảnh. 1.2.4 Các lĩnh vực ứng dụng bài toán phát hiện khuôn mặt Xác định mặt người là một phần của hệ thống nhận dạng khuôn mặt. Nó được dùng trong giám sát video, giao tiếp giữa người và máy, các ứng dụng cơ bản của xác định khuôn mặt có thể kể đến là: 8 1.2.4.1 Hệ thống quan sát và theo dõi hành vi Hệ thống quan sát và theo dõi hành vi sử dụng camera để xác định đâu là con người và theo dõi người đó có xâm nhập bất hợp pháp vào một khu vực nào đó hay không. Hoặc dựa vào ảnh của một người để nhận dạng xem họ có phải là tội phạm hay không bằng cách so sánh với các ảnh tội phạm được lưu trữ trước đó và đưa ra cảnh báo giúp cơ quan an ninh quản lý tốt con người. 1.2.4.2 Hệ thống tƣơng tác giữa ngƣời và máy Sử dụng các biểu cảm của khuôn mặt như nháy mắt để giúp những người bị bại liệt có thể giao tiếp với máy tính từ đó thể hiện được những gì họ đang muốn. Ngoài ra giúp những người bị tật hoặc khiếm khuyết có thể dùng ngôn ngữ tay chân trao đổi giao tiếp với những người bình thường 1.2.4.3 Bảo mật Ứng dụng phát hiện khuôn mặt trong ảnh vào bảo mật rất đa dạng, một trong số đó là hệ thống nhận dạng mặt người của laptop, với hệ thống này cho phép chủ nhân của máy tính ngồi trước webcam là có thể đăng nhập được. Điều kiển ra vào công ty, văn phòng… kết hợp với nhận dạng vân tay để cho phép từng người ra vào khu vực mà họ được phép. Xác định mặt người có thể được ứng dụng trong các trạm rút tiền tự động (ATM) để lưu trữ khuôn mặt của người rút tiền, nhằm giảm hiện tượng bị rút trộm tiền rồi đổ lỗi cho ngân hàng. Hình 1.4 Một hệ thống kiểm soát vào/ra dựa vào kỹ thuật phát hiện mặt ngƣời 9 1.2.4.4 Một số ứng dụng khác Tại Mỹ cơ quan an ninh sân bay xuất nhập cảnh sử dụng camera quan sát để xác thực người nhập cảnh mục đích để kiểm tra xem người đó có phải là phần tử khủng bố hay tội phạm không. - Kiểm tra trạng thái của tài xế có mất cảnh giác hay ngủ gật khi đang lái xe không để ra thông báo hỗ trợ khi cần thiết. - Hệ thống tìm kiếm dữ liệu liên quan đến con người thông qua ảnh khuôn mặt hay đoạn video. - Một số hãng sản xuất máy chụp ảnh như Canon, fuijfilm đã ứng dụng thuật toán xác định mặt người trong ảnh vào máy chụp hình của mình để cho kết quả ảnh tại vị trí khuôn mặt đẹp và rõ hơn hơn . - Hiện nay số lượng người bị mất thẻ và mã PIN ngày càng nhiều, và một số chủ tài khoản thì tham rút tiền rồi nhưng báo là bị rút trộm tiền. Ứng dụng trong hệ thống ATM để lưu trữ khuôn mặt người rút tiền sẽ giúp cho ngân hàng dễ xử lý và đối chứng hơn. 1.3 Các phƣơng pháp phát hiện mặt ngƣời trong ảnh Theo Ming-Hsuan Yang [28], dựa vào tính chất của các phương pháp có thể phân loại các phương pháp phát hiện khuôn mặt trong ảnh thành 4 nhóm chủ sau: Hình 1.5 Mô hình tổng quát các phƣơng pháp giải quyết phát hiện mặt ngƣời 10 1.3.1 Phƣơng pháp tiếp cận dựa trên các luật tri thức Nhóm phương pháp này chủ yếu dựa trên các luật được người nghiên cứu định nghĩa trước về khuôn mặt. Những thuộc tính được định nghĩa thường có mối quan hệ giữa các thành phần trên khuôn mặt. Một số nghiên cứu áp dụng theo hướng tiếp cận này như G .Yang 1994 [10], Kotropoulos 1997 [5]. Hình 1.6 Phƣơng pháp sử dụng đa độ phân giải Ảnh a có độ phân giải n=1, b=4, c=8, d= 16. Trong phương pháp tiếp cận này, người nghiên cứu sẽ đưa ra các tập luật dựa vào tri thức mà họ thu nhận được và cách làm thế nào để chuyển tri thức con người sang các tập luật. Đây là hướng tiếp cận dạng top – down, đại diện nhà nghiên cứu Yang đã sử dụng cách tiếp cận này để xác định khuôn mặt trong ảnh. Hệ thống của tác giả sử dụng ba mức tập luật. Ở mức đầu tiên tác giả đã dùng một khung cửa sổ quét trên toàn ảnh thông qua một tập luật để tìm các đối tượng được cho là khuôn mặt. Qua mức thứ hai tác giả đã sử dụng một tập luật khác để mô tả tổng quát hình thể khuôn mặt. Mức cuối cùng tác giả sử dụng tập luật khác để phân tích chi tiết các đặc trưng được xác định ở bước hai. Hệ thống đa độ phân giải có thứ tự được dùng để xác định hình 1.6. Các luật ở mức cao dùng để tìm các ứng viên như là vùng trung tâm khuôn mặt, phần xung quanh bên trên của một khuôn mặt, mức độ khác nhau giữa các giá trị xám trung bình của phần vùng trung tâm và phần bao xung quanh bên trên. Sang mức thứ hai, xem xét biểu đồ của các ứng viên để loại bớt ứng viên nào không phải là khuôn mặt, đồng thời dò ra cạnh bao xung quanh các ứng viên đó. Ở mức cuối cùng, những ứng viên nào còn lại sẽ được xem xét các đặc trưng của khuôn mặt về mắt, mũi và miệng, hai ông đã dùng chiến thuật làm rõ dần để giảm bớt số lượng tính toán xử lý.