Для оценки качества информационного поиска с привлечением асессоров используются метрики полноты и точности. Метрика полноты измеряет, насколько хорошо поисковая система находит все релевантные документы. Она вычисляется как отношение количества документов, помеченных асессорами как релевантные и найденных поисковой системой, к общему количеству релевантных документов в выборке. Чем ближе это отношение к единице, тем выше полнота. Метрика точности измеряет, насколько точно система определяет, какие документы являются релевантными. Она вычисляется как отношение количества документов, помеченных асессорами как релевантные и найденных поисковой системой, к общему количеству документов, которые поисковая система пометила как релевантные. Чем ближе это отношение к единице, тем выше точность. AND-оценки используются для определения, должна ли страница поисковой выдачи считаться релевантной или нерелевантной, если все асессоры согласны в своих оценках. Если все асессоры отмечают страницу как релевантную, она считается действительно релевантной. Если все асессоры отмечают страницу как нерелевантную, она считается действительно нерелевантной. Если асессоры не согласны в своих оценках, метрика AND не может быть использована для определения релевантности страницы. XOR-оценки используются для определения, должна ли страница поисковой выдачи считаться релевантной или нерелевантной, если асессоры не согласны в своих оценках. Если только один асессор отметил страницу как релевантную, она считается релевантной. Если только один асессор отметил страницу как нерелевантную, она считается нерелевантной. Если асессоры согласны или неединогласны в своих оценках, метрика XOR не может быть использована для определения релевантности страницы. OR-оценки используются для определения, должна ли страница поисковой выдачи считаться релевантной или нерелевантной, если хотя бы один асессор отметил ее как релевантную. Если хотя бы один асессор отметил страницу как релевантную, она считается релевантной. Таким образом, OR-оценки измеряют, насколько широко система определяет документы как релевантные. В данной задаче для расчета метрик полноты и точности используются как AND, так и XOR оценки. AND оценка используется для определения релевантности страницы в случае, если все асессоры сходятся в своих оценках (если все оценки релевантности совпадают), а XOR оценка используется, если асессоры не согласны в своих оценках (если оценки релевантности различаются). Обе метрики важны для оценки работы поисковой системы и помогают определить ее качество в нахождении релевантной информации для пользователей.