对于基于 CNN 的人脸识别方法，影响准确度的因素主要有三个：训练数据、CNN 架构和损失函数。
因为在大多数深度学习应用中，都需要大训练集来防止过拟合。一般而言，为分类任务训练的 CNN 的准确度会随每类的样本数量的增长而提升。这是因为当类内差异更多时，CNN 模型能够学习到更稳健的特征。但是，对于人脸识别，我们感兴趣的是提取出能够泛化到训练集中未曾出现过的主体上的特征。
西安人脸识别技术
因此，用于人脸识别的数据集还需要包含大量主体，这样模型也能学习到更多类间差异。 研究了数据集中主体的数量对人脸识别准确度的影响。在这项研究中，首先以降序形式按照每个主体的图像数量对一个大数据集进行了排序。然后，研究者通过逐渐增大主体数量而使用训练数据的不同子集训练了一个 CNN。当使用了图像数量最多的 10000 个主体进行训练时，得到的准确度是最高的。增加更多主体会降低准确度，因为每个额外主体可用的图像非常少。
西安人脸识别
另一项研究 研究了更宽度的数据集更好，还是更深度的数据集更好(如果一个数据集包含更多主体，则认为它更宽;类似地，如果每个主体包含的图像更多，则认为它更深)。这项研究总结到：如果图像数量相等，则更宽的数据集能得到更好的准确度。研究者认为这是因为更宽度的数据集包含更多类间差异，因而能更好地泛化到未曾见过的主体上。