人臉辨識的核心問題，不管是人臉確認(face verification)或是人臉識別(face identification)，都必須在人臉上取出具有「辨別度」的特征值。

也就是說，同個人的多張照片，即使在不一樣的光源、時間、打扮、些微的表情、視角變化之下拍攝，還具有非常類似的高維數值(可以想象在高維空間中非常相近的點群)，相反地，對于不同人的照片，需很容易區別，在高維空間中維持相當的距離。

這目標聽起來很直覺，但是研究人員幾十年來的努力到最近才有突破性的發展。

人臉辨識的一般步驟為：人臉偵測、人臉校正、人臉特征值的擷取。目的在照片中，找到人臉的位置，利用人臉的特征點(如嘴角、人中、眼睛等)為錨點，將人臉校正到同一個比較基準，然后取出特征值來進行辨識。

早期的人臉偵測大多基于效率的考量，利用組合一系列簡易的運算來檢測畫面中的可能人臉，甚至可以在相機的硬件中實現。但是在實際場域中的應用仍然有諸多限制，直到這幾年深度卷積神經網絡(Convolutional Neural Network；CNN )的使用，才讓偵測率大大提升。

人臉特征值的擷取是最核心的問題。早期廣泛采用的方法為特征臉(eigenface)，這是1991年MIT提出的方法，原理是人臉具有大致的輪廓，可以找出特征人臉為基礎來線性組合出各個人臉。理論上同一個人的線性組合參數應該類似，所以就用這些組合參數來作為人臉特征值。

此外，還可以利用人臉各個器官之間的相對位置、比例等作為特征值。或是利用鄰近畫素的亮度差來表示特征值的局部二值樣式(Local Binary Patterns；LBP)。或是將人臉特定位置的外觀，利用具代表性的小區塊進行編碼的稀疏編碼法(sparse coding)。這些技術都為人臉辨識的落實往前推進一步。為求系統穩定，大部分應用系統都采用雞尾酒作法，也就是混搭各種特征值。

為何早期使用人臉辨識的場域不多呢？因為錯誤率所造成的困擾遠大于技術的效率。舉例來說，保全系統使用人臉辨識作為門禁卡，如果錯誤率5%的話，每100人次進出，就有5次需要人為介入，不勝其煩。

技術的正確率、穩定度的提升關乎可否全面落實到產品上，也就只有等到深度學習(更準確為卷積神經網絡)技術的突破，才讓人臉辨識數十年的研究有機會在產業界帶來廣泛應用的機會，而且有機會溢出傳統安控領域而成為「個人化」的基礎引擎。