Tư vấn Hệ thống Chăm sóc Da Mặt
Các nhóm phát triển trí tuệ nhân tạo (AI) nhận diện khuôn mặt thường thiếu các phương pháp hệ thống để đánh giá hiệu quả hoạt động. Họ không thể xác định một cách đáng tin cậy mô hình nào tốt hơn, lý do tại sao các biểu cảm bị lỗi, hay vấn đề phát sinh từ đâu trong quy trình xử lý. Tôi thiết kế các khung đánh giá giúp xác định nguyên nhân gốc rễ của các vấn đề này, bao gồm đánh giá trạng thái mô hình, chẩn đoán dữ liệu, tiêu chuẩn chú thích, cùng với tài liệu nội bộ nhằm đảm bảo các hệ thống này vẫn hoạt động hiệu quả ngay cả khi tôi không còn tham gia dự án.
Các khung làm việc mà tôi mang đến cho khách hàng được đúc kết từ quá trình xây dựng hạ tầng dữ liệu khuôn mặt trên quy mô lớn. Tại Meta, tôi đã thiết lập các tiêu chuẩn chú thích và quy trình thu thập dữ liệu cho tính năng theo dõi khuôn mặt trên Quest Pro, đảm bảo Ba bằng sáng chế về hoạt hình Avatar. Từ đó, tôi đã phát triển các khung đánh giá mô hình tại Flawless AI và xây dựng các tiêu chuẩn phát hiện biểu cảm tại Affectiva.
Trí tuệ nhân tạo / Công nghệ
Không có hai quy trình AI nhận diện khuôn mặt nào gặp phải những vấn đề giống nhau. Trước khi đưa ra bất kỳ đề xuất nào, tôi bắt đầu bằng việc chẩn đoán để hiểu rõ dữ liệu của bạn, các mô hình của bạn, các trường hợp sử dụng và những điểm yếu còn tồn tại. Từ đó, các dự án thường bao gồm một sự kết hợp của:
- Kiểm tra mô hình và dữ liệu
- Chiến lược chú thích & tài liệu
- Đánh giá nhà cung cấp & tiêu chuẩn hóa
- Phát triển bộ sản phẩm vàng
- Khung đo lường hiệu suất tự động
Phạm vi và độ sâu hoàn toàn phụ thuộc vào vị trí của bạn và những gì bạn đang cố gắng xây dựng.
Hoạt hình
Các hệ thống khung xương khuôn mặt là những hệ thống phức tạp với nhiều bộ phận di chuyển và nhiều người hiểu chúng theo cách khác nhau. Khi sự không nhất quán xuất hiện giữa các nhân vật, bộ phận hoặc quy trình làm việc, hiếm khi rõ ràng nơi chúng bắt đầu hoặc cách khắc phục. Tôi tham gia khi các đội cần một cái nhìn khách quan với kiến thức giải phẫu và kỹ thuật sâu sắc để chẩn đoán nơi hệ thống bị hỏng và xác định hướng đi tiếp theo.
Các đánh giá về rig và blendshape của tôi không chỉ là danh sách các bản sửa lỗi. Mỗi ghi chú đều dựa trên giải phẫu học và cơ chế hoạt động của cơ bắp. Các đội ngũ sẽ hiểu rõ những gì cần thay đổi, lý do tại sao, và cách áp dụng logic đó cho mọi hình dạng sau này.
Một số dự án không có tài liệu hướng dẫn sẵn có. Khi một studio cần hệ thống khuôn mặt cho một con khỉ capuchin, một con khỉ đột, hoặc một nhân vật thể thao với yêu cầu ROM cụ thể cho từng trường hợp sử dụng, công việc bắt đầu từ nghiên cứu. Tôi tìm hiểu giải phẫu học, xác định các khoảng trống, và xây dựng khung nền tùy chỉnh từ đầu, lặp lại quá trình mô hình hóa, gắn khung xương và hoạt hình cho đến khi đội ngũ có thể thực hiện độc lập.