Устойчивость теста относительно объектов (испытуемых) является необходимым, но не достаточным условием его устойчивости относительно измеряемых атрибутов (свойств) объектов. Надёжность является необходимым, но не достаточным условием валидности. Отсюда понятно основное соотношение психометрики:
валидность < надёжность.
Это означает, что валидность теста не может превышать надёжности теста.
Данное соотношение, однако, неверно трактовать как указание на прямо пропорциональную связь валидности и надёжности. Повышение надёжности отнюдь не обязательно приводит к повышению валидности. В терминах Анны Анастази [11] валидность определяется репрезентативностью теста относительно измеряемой области поведения.
При проверке устойчивости распределения общая логика основывается на индуктивном рассуждении: если "половинное" (полученное по половине выборки) распределение хорошо моделирует конфигурацию целого распределения, то можно предположить, что это целое распределение будет также хорошо моделировать распределение генеральной совокупности.
Таким образом, доказательство устойчивости распределения означает доказательство репрезентативности тестовых норм.
Репрезентативность критериальных тестов. В тестах по критерию в качестве реального эталона применяется критерий, ради которого создаётся тест – целевой критерий. Особое значение такой подход имеет в тех областях практики, где высокие результаты могут дать узкоспециализированные диагностические методики, нацеленные на очень конкретные и узкие критерии. Такая ситуация имеет место в обучении: тестирование, направленное на получение информации об уровне усвоения определённых знаний, умений и навыков (при профессиональном обучении), должно точно отражать уровень освоения этих навыков и тем самым давать надёжный прогноз эффективности конкретной профессиональной деятельности, требующей применения этих навыков.