сделать домашней  добавить в избранное  карта сайта RSS
 

Вебинары HRM.RU

Прогноз эффективности кандидатов на основе тестов
Начало 26.05.2017 12.00 (по московскому времени)

Полный список вебинаров

События

полный список

Последние обсуждения

  26.09.2019 16:41:06
Новый уровень безопасности дыхания
  30.08.2019 14:26:41
Worldskills International и 3М запускают новый совместный проект «Образование во имя будущего»
  30.08.2019 11:33:40
Молодые профессионалы за устойчивое будущее
  24.08.2019 14:36:18
Научные эксперименты, продуктовые тесты и мировые технологии для молодых профессионалов
  09.08.2019 16:18:31
Только оригинальные СИЗ обеспечивают гарантированную защиту


Опросы
  Актуальные направления работы HR вашей организации 2017
Все опросы


Методы математической обработки в психологии. глава 8 дисперсионный двухфакторный анализ

      Тематические разделы:
      Психология, теории HR
      Психология, теории HR : Социальная психология
      Общий менеджмент : Аналитика
      Книги

      Дата публикации: 20.07.2017








      ГЛАВА 8 ДИСПЕРСИОННЫЙ ДВУХФАКТОРНЫЙ АНАЛИЗ

      8.1. Обоснование задачи по оценке взаимодействия двух факторов

      Двухфакторный дисперсионный анализ позволяет нам оценить не только влияние

      каждого из факторов в отдельности, но и их взаимодействие. Может оказаться, что одна

      переменная значимо действует на исследуемый признак только при малых (или, напротив,

      больших) значениях другой переменной. Например, повышение вознаграждения может

      повышать скорость решения задач у высокоинтеллектуальных испытуемых и понижать ее

      у низкоинтеллектуальных. Усиление наказания может снижать количество агрессивных

      реакций у девочек и повышать его у мальчиков. Или, скажем, внушение может влиять на

      младших школьников, но не влиять на подростков. Один фактор может "заморозить" или,

      напротив, "катализировать" действие другого.

      В исследовании К.А. Harris и К.В. Morrow изучалась такая личностная черта, как

      доминантность взрослых мужчин и женщин: Авторы предполагали, что доминантность

      должна быть выше у людей, которые были первенцами в своих семьях, и ниже у средних

      и тем более младших детей. Оказалось, что влияние каждого из двух исследуемых фак-

      торов - пола и порядка рождения - незначимо, а взаимодействие факторов значимо (см.

      Рис. 8.1). У мужчин доминантность, как и предполагалось, с увеличением порядка

      рождения снижается, а у женщин, напротив, повышается. Авторы объясняют это двояко:

      тем, что младшие девочки в семьях могут пользоваться особым предпочтением остальных

      членов семьи или тем, что повышенной доминантностью они отвечают на свое

      подчиненное положение в детстве (Harris K.A., Morrow K.B.,g 1992).

      Рис. 3.1. Изменения показателей Доминантности (шкала Калифорнийского личностного опросника) в

      зависимости от порядка рождения у мужчин (сплошная линия) и женщин (пунктирная линия) (по: Harris А. К.,

      Morrow К. В., 1992, р. 115)

      Если нами установлено значимое взаимодействие факторов, то это зачастую важнее,

      чем действие каждого из факторов в отдельности. Некоторые исследователи предлагают

      вообще игнорировать в таких случаях "основные эффекты" каждого из

      взаимодействующих факторов и рассматривать только взаимодействие (McCall R., 1970,

      р. 250).

      Специалист по возрастной и дифференциальной психологии знает, что "основных

      эффектов", или общих закономерностей, в действительности достаточно мало. Почти

      всегда требуется поправка на возраст испытуемых, их пол, профессиональную

      принадлежность, способ восприятия, тип энергетической мобилизации и т.п. К счастью,

      петербургская-ленинградская школа психологии благодаря, в первую очередь, Б.Г.,

      Ананьеву, никогда не была "бесполой" или "вневозрастной" (см., например, Ананьев Б.Г.,

      1968). Именно поэтому дисперсионный анализ в большей степени отвечает

      ленинградскому дифференциально-психологическому подходу в экспериментальных

      исследованиях. Он помогает нам выявлять все более и более частные и точные

      закономерности и приближает нас к установлению закономерностей индивидуальных

      стилей.

      Двухфакторный дисперсионный анализ предъявляет особые требования к

      формированию комплексов. Комплекс должен представлять собой симметричную

      систему: каждой градации фактора А должно соответствовать одинаковое количество

      градаций фактора В. Например, для исследования А.К. Harris, К.В. Morrow (см. Рис. 8.1)

      это означает, что и среди мужчин должны были быть старшие, средние и младшие дети, и

      среди женщин должны быть старшие, средние и младшие дети, причем для равномерного

      комплекса необходимо, чтобы в каждой ячейке комплекса было одинаковое количество

      испытуемых. Понятно, конечно же, что это значительно усложняет исследование и

      требует тщательного предварительного планирования его.

      Подробности работы лучше рассматривать на примерах, поэтому перейдем к

      моделям двухфакторного дисперсионного анализа: а) для несвязанных выборок; б) для

      связанных выборок.

      8.2. Двухфакторный дисперсионный анализ для несвязанных выборок

      Назначение метода

      Данный вариант двухфакторного дисперсионного анализа применяется в тех

      случаях, когда исследуется одновременное действие двух факторов на разные выборки

      испытуемых, т. е. когда разные выборки, испытуемых оказываются под воздействием

      разных сочетаний двух факторов. Количество выборок определяется количеством ячеек

      дисперсионного комплекса.

      Описание метода

      Суть метода остается прежней, но в двухфакторном дисперсионном анализе мы

      можем проверить большее количество гипотез. Расчеты гораздо сложнее, чем в

      однофакторных комплексах.

      Используемый в данном руководстве алгоритм расчетов предназначен только для

      равномерных комплексов. Если комплекс получился неравномерным, необходимо

      случайным образом отсеять несколько испытуемых.

      Работу начинаем с построения специальной таблицы, отражающей весь

      дисперсионный комплекс. Подробности лучше сразу рассматривать на примере.

      Пример

      Рассмотрим пример из руководства J.Greene, M.D.'Olivera (1989).

      Четырем группам испытуемых предъявлялись списки из 10 слов:

      группе 1 - короткие слова с большой скоростью;

      группе 2 - короткие слова с медленной скоростью;

      группе 3 - длинные слова с большой скоростью;

      группе 4 - длинные слова с медленной скоростью.

      В каждой группе было по 4 испытуемых, всего N=16. Предсказывалось, что между

      факторами длины слов и скоростью их предъявления будет наблюдаться значимое

      взаимодействие: при большой скорости предъявления лучше будут запоминаться

      короткие слова, а при медленной скорости - длинные слова. Результаты экспериментов

      представлены в Табл. 8.1.

      Таблица 8.1

      Количество воспроизведенных слов при разной длине слов и разной скорости их

      предъявления (по J.Greene, M.D'Olivera, 1989)

      Переменная

      (фактор) В скорость

      предъявления слов

      Переменная (фактор) А - длина слов Суммы по переменной В (ТB)

      A1 - короткие слова A2 - длинные слова

      В1 (большая

      скорость)

      9867 30 5334 15 45

      B2 (малая скорость) 4335 15 7567 25 40

      Суммы по

      переменной А (ТA)

      45 40 85

      Заметим, что в отечественных руководствах чаще предлагается другая, более

      привычная для нас, форма таблиц для двухфакторных дисперсионных комплексов (Табл.

      8.2). При такой форме легче "увидеть" комплекс в целом.

      Таблица 8.2

      Двухфакторный дисперсионный комплекс по оценке влияния фактора А (длина

      слов) и фактора В (скорость предъявления слов) на количество воспроизведенных слов

      Градации фактора А А1 - короткие слова A2 – длинные слова

      Градации фактора В B1 B2 B1 B2

      9

      8

      6

      7

      4

      3

      3

      5

      5

      3

      3

      4

      7

      5

      6

      7

      Суммы по ячейкам 30 15 15 25

      Суммы по градациям

      фактора А

      ТA1=45 ТA2=40.

      Суммы по градациям

      фактора В

      ТB1==30+15=45 ТB2==15+25=40

      Как видим, при такой форме таблицы легче подсчитать суммы по ячейкам (в

      столбик), но труднее разобраться с суммами по градациям каждого из факторов. В данном

      случае оказалось, что они совпали:

      ТA1= ТB1; ТA2= ТB2.

      В дальнейшем при использовании алгоритма расчетов будем опираться на Табл. 8.1.

      Сформулируем гипотезы. Это будут гипотезы, касающиеся влияния фактора А

      отдельно от фактора В (как бы при "усредненных" его значениях), гипотезы о влиянии

      фактора В отдельно от фактора А и гипотезы о влиянии взаимодействия градаций

      факторов А и В.

      1 комплект гипотез

      H0: Различия в объеме воспроизведения слов, обусловленные действием фактора А,

      являются не более выраженными, чем случайные различия между показателями.

      H1: Различия в объеме воспроизведения слов, обусловленные действием фактора А,

      являются более выраженными, чем случайные различия между показателями.

      2 комплект гипотез

      H0: Различия в объеме воспроизведения слов, обусловленные действием фактора В,

      являются не более выраженными, чем случайные различия между показателями.

      H1: Различия в объеме воспроизведения слов, обусловленные действием фактора В,

      являются более выраженными, чем случайные различия между показателями.

      3 комплект гипотез

      H0: Влияние фактора А на объем воспроизведения слов одинаково при разных

      градациях фактора В, и наоборот.

      H1: Влияние фактора А на объем воспроизведения слов различно при разных

      градациях фактора В, и наоборот.

      Используя экспериментальные значения, представленные в Табл. 8.1, установим

      некоторые величины, которые будут необходимы для расчета критериев F.

      Таблица 8.3

      Величины, необходимые для расчета критериев F в двухфакторном дисперсионном

      анализе для несвязанных выборок


      Напомним, что при подсчете · x i

      2 все индивидуальные значения сначала возводятся

      в квадрат, а потом суммируются, а при подсчете (· x i)2 все индивидуальные значения

      сначала суммируются, а затем их общая сумма возводится в квадрат.

      Последовательность расчетов представлена в Табл. 8.4.

      Таблица 8.4

      Последовательность операций в двухфакторном дисперсионном анализе для

      несвязанных выборок

      Вывод: Но принимается в комплектах гипотез 1 и 2. Различия в объеме воспроизведения

      слов, обусловленные в отдельности факторами А и В, не являются более выраженными,

      чем случайные различия между показателями. H0 отвергается для взаимодействия

      факторов (3 комплект). Принимается H1. Влияние фактора А на объем воспроизведения

      слов различно при разных градациях фактора В, и наоборот (р·0,01).

      Итак, оказывается, что факторы длины слов и скорости их предъявления в

      отдельности не оказывают значимого действия на объем воспроизведения. Значимым

      оказывается именно взаимодействие факторов: короткие слова лучше запоминаются при

      быстрой скорости предъявления, а длинные - при медленной скорости предъявления (см.

      Рис. 8.2). Таким образом, предположение, высказанное авторами, нашло статистически

      значимое подтверждение (р·0,001).

      Рис. 8.2. Кривые изменения объема воспроизведения при повышении скорости предъявления коротких

      (сплошная линия) и длинных слов (пунктирная линия)

      Ограничения двухфакторного дисперсионного анализа для несвязанных

      выборок

      1. У каждого фактора должно быть не менее двух градаций.

      2. В каждой ячейке комплекса должно быть не менее двух наблюдаемых значений

      для выявления взаимодействия градаций.

      3. Количества значений во всех ячейках комплекса должны быть равны для

      обеспечения равенства дисперсий в ячейках комплекса и для использования приведенного

      выше алгоритма расчетов; для неравномерных комплексов можно использовать

      алгоритмы Н.А. Плохинского (1970).

      4. Комплекс должен представлять собой симметричную систему: каждой градации

      фактора А должно соответствовать одинаковое количество градаций фактора В.

      5. Результативный признак должен быть нормально распределен в исследуемой

      выборке, в противном случае значимые различия будет выявить гораздо труднее и

      применение метода будет не вполне корректным.

      6. Факторы должны быть независимыми. В рассмотренном примере скорость

      предъявления слов и их длина - внешне независимые факторы. В других случаях

      независимость факторов может быть подтверждена отсутствием корреляционной связи

      между переменными, выступающими в качестве факторов.

      8.3. Двухфакторный дисперсионный анализ для связанных выборок

      Назначение метода

      Данный вариант двухфакторного дисперсионного анализа применяется в тех

      случаях, когда исследуется действие двух факторов на од-ну и ту же выборку

      испытуемых.

      Описание метода

      Допустим, мы измерили одни и те же показатели у одних и тех же испытуемых

      несколько раз - в разное время, в разных условиях, с помощью параллельных форм

      методики и т. п., и нам необходимо провести множественное сравнение показателей,

      изменяющихся при переходе от условия к условию. Критерий L Пейджа для анализа

      тенденций изменения признака и критерий ·2

      r Фридмана неприменимы, так как

      необходимо определить тенденцию изменения признака под влиянием двух факторов

      одновременно. Это позволяет сделать только дисперсионный анализ.

      Фактически в данной модели дисперсионного двухфакторного анализа проверяются

      4 гипотезы: о влиянии фактора А, о влиянии фактора В, о влиянии взаимодействия

      факторов А и В и о влиянии фактора индивидуальных различий.

      В данном варианте дисперсионного анализа нам потребуются две рабочие таблицы,

      которые позволят рассчитывать сумму по разным комбинациям ячеек комплекса.

      Рассмотрим это на примере, являющемся продолжением примера из п. 3.3.

      Пример

      В выборке курсантов военного училища (юноши в возрасте от 18 до 20 лет)

      измерялась способность к удержанию физического волевого усилия на динамометре. В

      первый день эксперимента у них, наряду с другими показателями, измерялась мышечная

      сила каждой из рук. На второй день эксперимента им предлагалось выдерживать на

      динамометре мышечное усилие, равное '/2 максимальной мышечной силы данной руки. На

      третий день эксперимента испытуемым предлагалось проделать то же самое в парном

      соревновании на глазах у всей группы. Пары соревнующихся были подобраны таким

      образом, чтобы сила обеих рук у них примерно совпадала. Результаты экспериментов

      представлены в Табл. 8.5. Можно ли считать, что фактор соревнования в группе каким-то

      образом влияет на продолжительность удержания усилия? Подтверждается ли

      предположение о том, что правая рука более "социальна"?

      Таблица 8.5

      Длительность удержания усилия (сек/10) на динамометре правой и левой руками в

      разных условиях измерения (n=4)

      Код имени

      испытуемого

      Наедине с экспериментатором (A1) В группе сокурсников (A2)

      Правая рука Левая рука Правая рука Левая рука

      1 Л-в

      2 С-с

      3 С-в

      4 К-в

      11 10 15 10

      13 11 14 10

      12 8 8 5

      9 10 7 8

      Заметим, что единицы измерения в Табл. 8.5 - это секунды, но в каждом случае

      количество секунд уменьшено в 10 раз. Это законный способ преобразования

      индивидуальных значений, направленный на облегчение расчетов. Для того, чтобы не

      оперировать трехзначными числами, мы можем разделить их на какую-либо константную

      величину или уменьшить их на какую-либо константную величину (подробнее см п. 7.2).

      Преобразуем таблицу индивидуальных значений в две рабочие таблицы

      двухфакторного дисперсионного комплекса для связанных выборок (Табл. 8.6 и 8.7). Мы

      видим, что здесь приведены суммы индивидуальных значений отдельно по градациям

      фактора А (вне группы - в группе) и по градациям фактора В (правая рука - левая рука), по

      сочетаниям градаций А1В1, А1В2, А2В1, А2В2, а также суммы всех индивидуальных

      значений каждого испытуемого и общие суммы.

      Таблица 8.6 Двухфакторный дисперсионный комплекс по оценке влияния фактора А

      (вне группы - в группе) и фактора В (правая - левая рука) на длительность удержания

      физического волевого усилия (сек/10) - вариант I

      Код имени

      испытуемого

      A1 - вне группы А2 - в группе Индивидуальные

      суммы всех 4-х

      B1 B2 значений

      Индивидуальные

      суммы по A1

      (В1+В2)

      B1 B2

      Индивидуальные

      суммы по А2

      (В1+В2)

      1. Л-в

      2. С-с

      3. С-в

      4. К-в

      11

      13

      12

      9

      10

      11

      8

      10

      21

      24

      20

      19

      15

      14

      8

      7

      10

      10

      5

      8

      25

      24

      13

      15

      46

      48

      33

      34

      Суммы по

      ячейкам 45 39 44 33

      Суммы по града-

      циям At и А? 84 77

      Общая сумма 161

      Таблица 8.7

      Двухфакторный дисперсионный комплекс по оценке влияния факторов А и В на

      длительность физического волевого усилия (сек/10) - вариант II

      Код имени B1 – правая рука B2 – левая рука Индивидуальные

      испытуемого

      A1 A2

      Индивидуальные

      суммы по B1

      (A1+A2)

      A1 A2

      Индивидуальные

      суммы по B2

      (A1+A2)

      суммы всех 4-х

      значений

      1. Л-в

      2. С-с

      3. С-в

      4. К-в

      11

      13

      12

      9

      15

      14

      8

      7

      26

      27

      20

      16

      10

      11

      8

      10

      10

      10

      5

      8

      20

      21

      13

      18

      46

      48

      33

      34

      Суммы по

      ячейкам 45 44 39 33

      Суммы по града-

      циям At и А? 89 72

      Общая сумма 161

      Мы видим, что в Табл. 8.7 фактически только две ячейки комплекса поменялись

      местами: A1B2 и A2B1. Это позволяет нам с большей легкостью подсчитать суммы по

      градациям B1 и В2. Если бы 'мы пользовались только Табл. 8.6, то нам пришлось бы

      подсчитывать их "через столбец" и, кроме того, трудно было бы их куда-то подходящим

      образом записать. В дальнейшем при расчетах мы всякий раз будем указывать, к какой

      таблице лучше обратиться для извлечения нужных сумм, первой (I) или второй (II).

      Установим некоторые величины, которые будут необходимы для расчёта критериев

      F.

      Таблица 8.8

      Величины, необходимые для расчета критериев F в двухфакторном дисперсионном

      анализе для связанных выборок

      Теперь при расчетах будем лишь подставлять уже подсчитанные значения тех или

      иных величин. В случае, если какой-то из шагов в алгоритме расчетов будет не вполне

      ясен, можно вернуться к Табл. 8.8 и восстановить процедуры расчетов, или к Табл. 8.6 и

      Табл. 8.7, для того, чтобы вспомнить, почему мы подставляем в формулу ту или иную

      конкретную величину.

      _____________

      На самом деле в эксперименте участвовало 20 человек. В дисперсионный комплекс случайным

      образом отобраны 4 из них в целях упрощения расчетов. Результаты дисперсионного анализа по такой

      "усеченной" выборке совпадают с данными обработки всей выборки с помощью критерия ·2

      r.

      Таблица 8.9

      Последовательность операций в двухфакторном дисперсионном анализе для

      связанных выборок

      Мы видим, что влияние факторов А и В, как каждого в отдельности, так и в их

      взаимодействии, незначимо. В то же время фактор индивидуальных различий между

      испытуемыми (Fи) оказался значимым (р<0,05). Мы видим из формы приведенного

      алгоритма, что этот индивидуальный источник вариативности с самого начала

      учитывается практически как третий фактор вариативности признака. Критерий F для

      факторов А и В вычисляется как отношение вариативности между градациями факторов к

      вариативности между испытуемыми в этих градациях.

      На Рис. 8.3 индивидуальные изменения величин длительности физического волевого

      усилия представлены графически.

      Рис. 8.3. Индивидуальные изменения длительности физического волевого усилия по четырем

      испытуемым

      Как видно из Рис. 8.3, у одного испытуемого выше показатели по левой руке, у трех

      других - по правой. При измерении вне группы индивидуальные кривые ближе друг к

      другу, при измерениях в группе они расходятся. Можно было бы говорить об увеличении

      разброса индивидуальных значений при измерении длительности физического волевого

      усилия в группе, в атмосфере соревнования. Однако, несмотря на название,

      дисперсионный анализ выявляет влияние фактора не на рассеивание индивидуальных

      значений, а на среднюю их величину. Влияние же фактора на рассеивание признака

      можно уловить с помощью других критериев, в том числе непараметрических

      (Суходольский Г.В., 1972, с.341).

      И все же представим полученный результат в принятой форме изменения средних

      значений по градациям факторов (Рис. 8.4).

      Рис. 8.4. Изменения средних величин длительности физического волевого усилия при переходе от

      индивидуальных замеров к групповым (правая рука - сплошная линия, левая рука - пунктирная линия)

      Если исследователя интересует в большей степени второй вопрос данной задачи,

      связанный с проверкой предположения о том, что правая рука более "социальна", то он

      может представить данные в иной группировке (Рис. 8.5).

      Рис. 8.5. Изменения средних величин длительности физического волевого усилия при переходе от

      правой руки к левой (сплошная линия - измерения вне группы, пунктирная линия - измерения в группе)

      Мы видим, что во втором, групповом, замере снижаются показатели и по правой, и

      по левой руке, но все же правая рука "держится" почти на уровне первого замера, в то

      время как левая рука в большей степени "сдается" под влиянием усталости в группе, чем

      вне группы. Можно было бы подтвердить предположение о большей "социальности

      правой руки, большая стабильность которой, возможно, отражает стремление поддержать

      "лицо" в ситуации соревнования в группе, но выявленные тенденции, как мы убедились,

      незначимы.

      Ограничения двухфакторного дисперсионного анализа для связанных выборок

      Все ограничения такие же, как и в модели для несвязанных выборок, с одним

      уточнением. Все испытуемые должны пройти все сочетания градаций двух факторов.

      Этим достигается равномерность комплекса.

      Итак, мы убедились, что двухфакторный дисперсионный анализ действительно

      позволяет нам оценить влияние двух факторов в их взаимодействии. Мы показали, что

      влияние одного фактора может оказаться различным при разных уровнях другого

      фактора, иногда различным вплоть до противоположности. Так, в примере о влиянии

      скорости предъявления слов и их длины на объем воспроизведения мы убедились в том,

      что фактор скорости при предъявлении коротких слов повышает результаты, а при

      предъявлении длинных слов - снижает результаты испытуемых.

      Дисперсионный анализ позволяет также доказать, что влияние индивидуальных

      различий может оказаться сильнее экспериментальных или иных факторов, как это было

      продемонстрировано в последнем из примеров.

      Более сложные схемы дисперсионного анализа позволяют анализировать совокупное

      действие трех, четырех и более факторов и получить еще более глубокие результаты.







      Share |

       

      Версия для печати

      Читайте также


      О чем поведают наши рисунки

      Наверняка первыми проявлениями творчества человека были именно рисунки, а не письмена. Сегодня, разговаривая по телефону, находясь на совещании, обсуждая с другом новое увлечение, мы нередко рисуем. Эти рисунки могут быть абстрактными, состоять из отдельных линий и геометрических фигур. Что же мы рисуем и что означает такая современная «наскальная живопись»?


      Аутентичность: оценка эффективности рекрутинговых сообщений
      Почему ваше резюме наводит скуку, и как расширить свои карьерные перспективы

      Сотрудник, ответственный за скрининг, затрачивает 15-20 секунд на просмотр одного резюме. Статья Д-ра Салливана на нашем портале


      Менеджер как мотиватор: что значит «быть справедливым»

      В рамках совместного проекта с издательством Эксмо продолжаем публикацию текстов книг серии "HR-библиотека". Предлагаем вашему вниманию отрывок книги «Менеджер как мотиватор. Практические уроки мотивации для нехаризматичных лидеров».
      В Нижнем Новгороде открыли вакансию для кота
      Каждый четвертый житель Кубани предпочитает работать дома

      А работодатели уверены, что удаленка никак не влияет на качество
      Имя 
      Пароль  забыли?
      Присоединяйтесь!

      Новые материалы

         Названы самые высокооплачиваемые вакансии в Башкирии
         Не все профессии равны. Вчерашние школьники идут в телевизионщики и PR
         Новочебоксарские безработные граждане обучаются востребованным профессиям
         Где в Уфе заработать 100 тысяч рублей в месяц
         Сколько в среднем получают владимирские врачи?


      Последние комментарии

        
         мне приятно Вас читать 99 % читаемое мной - мусор... А на ваших постах глаза отдыхают 
         Действительно, Эдуард, что это я! Всё ещё hr, всё ещё пишу - с удовольствием вернусь)))
         Марина, вы вернетесь к нам или уже все?)
         вы можете оставлять активную ссылку на источник 
      Все статьи


      Интервью




      Публикую статью Алексея Королькова с видеокомментарием
      все интервью


      О проекте      Реклама       Подписка       Контакты       Rambler's Top100 Яндекс цитирования ©2000-2011, HRM