Искажение данных контроля качества продукции через подмену значений, которые не вмещаются в поле допуска. Устраните систему управления на основе страха!

Материал подготовил: научный директор Центра AQT Григорьев С. П..

Бесплатный доступ к статьям нисколько не уменьшает ценности изложенных в них материалов.

В компании производящей изделия методом термо-вакуумного прессования отбираются для контроля последовательные подгруппы по пять деталей пять раз в день. Одна пресс-форма имеет только оду форму (каждый цикл пресса производит оду деталь). По результатам измерения ключевой характеристики качества контролёры производят запись только минимального и максимального значения. Поле допуска для этой детали 18,19 - 18,27 мм. Измерительный прибор позволял записывать значения измерений с точность до 3-го знака после запятой (до тысячных), но при записи все данные округлялись до сотых.

Контролёрам следовало бы производить записи для всех прошедших контроль изделий в подгруппе размером из пяти изделий (n=5) и строить по ним XbarR-карту средних и размахов подгрупп, но запись минимального и максимального значения в подгруппе (2-х из 5-ти), это всё, что было на момент обращения к нам.

Первым, что необходимо сделать при анализе любых данных, построить простую карту хода процесса по ним. Мы построили контрольную XmR-карту индивидуальных значений (Рисунок 1) и гистограмму распределения с точечным графиком (Рисунок 2) по ним.

Контрольная XmR-карта индивидуальных значений.

Рисунок 1. Контрольная XmR-карта индивидуальных значений зашифрованных данных. UNPL - верхняя естественная контрольная граница процесса, LNPL - нижняя естественная контрольная граница процесса, CL - центральная линия (среднее). Графики построены в разработанном нами ПО Контрольные карты Шухарта ПРО-Аналитик (для Excel +Power Query).

Контрольная XmR-карта индивидуальных значений демонстрирует странное поведение процесса, почти все точки находились в зоне +/-1 сигма от центральной линии CL(x), что в нашем случае вполне объяснимо, ведь ширина контрольных границ XmR-карты определяется средним значением всех скользящих размахов между значениями двух точек, которые представляют из себя чередующиеся минимальные и максимальные значения подгрупп.

Большую ясность того, что происходит на самом деле, наглядно показали гистограмма и точечный график распределения индивидуальных значений (Рисунок 2.).

Гистограмма распределения и точечный график индивидуальных значений

Рисунок 2. Гистограмма распределения и точечный график индивидуальных значений зашифрованных данных. Условные обозначения: LSL - нижняя границы допуска, NSL - номинал поля допуска и USL - и верхняя границы допуска. Графики построены в разработанном нами ПО Контрольные карты Шухарта ПРО-Аналитик (для Excel +Power Query).

Чего вы не видите на гистограмме (Рисунок 2)?

Во время Второй мировой войны командование американских и британских ВВС поручило Абрахаму Вальду работавшему в секретной программе Группы статистических исследований (Statistical Research Group, SRG), США выяснить, какие части фюзеляжа самолёта нужно защитить дополнительной бронёй. Военные предложили установить дополнительную защиту на те части самолётов, которые пострадали больше всего во время воздушных боёв. Вальд изучал самолёты, возвращавшиеся с боевых вылетов, отмечая места попаданий. В результате он рекомендовал установить дополнительную защиту на те участки (центральную и заднюю части фюзеляжа), где количество пробоин, наоборот, было минимальным. Рекомендация была основана на выводе, что защищать нужно от тех попаданий, которых Вальд не видел, — самолёты, которые их получили, просто не возвращались. Впоследствии решения, выработанные на основе анализа только лишь известных данных, получили название "Систематическая ошибка выжившего (Survivorship bias)".

Абрахам Вальд. Систематическая ошибка выжившего (Survivorship bias)

Рисунок 5. Абрахам Вальд. Систематическая ошибка выжившего (Survivorship bias).

Если провал столбцов гистограммы в центре поле допуска (Рисунок 2.) может быть объясним отсутствием записей 3-х из 5-ти значений в контролируемой подгруппе, то как объяснить практически полное отсутствие точек за границами допусков, притом что на границах допуска самые высокие столбцы гистограммы? Отсутствие каких-либо хвостов данных за границами допуска может говорить о том, что такие данные не фиксируются в записях, при этом скопление точек на границах допуска говорит о замене таких "плохих" значений приемлемыми. Например, если минимальное значение в подгруппе меньше нижней границы допуска, контролёры записывают значение нижней границы допуска, если максимальное значение в подгруппе больше верхней границы допуска - контролеры записывают значение верхней границы допуска.

Кроме прочего, точечный график определил высокую степень дискретности данных, данные округляются контролёрами до сотых. Смотрите пояснение в статье: Построение контрольных карт Шухарта по неадекватным единицам измерения ведёт ошибочным выводам.

Для проверки этой гипотезы мы сгенерировали случайные значения использовав нормальное распределение из 40 подгрупп размером n=5, со средним значением 18,23 по центру поля допуска и значением сигмы равное 0,03, которое может дать в результате описанных выше манипуляций похожие с зашифрованными данными результаты. Мы построили контрольную XmR-карту индивидуальных значений (Рисунок 3) с гистограммой и точечным графиком (Рисунок 4) по этим данным.

Контрольная XmR-карта индивидуальных значений.

Рисунок 3. Контрольная XmR-карта индивидуальных значений для сгенерированных данных из 40 подгрупп размером n=5. Графики построены в разработанном нами ПО Контрольные карты Шухарта ПРО-Аналитик (для Excel +Power Query).

Гистограмма распределения и точечный график индивидуальных значений

Рисунок 4. Гистограмма распределения и точечный график индивидуальных значений для сгенерированных данных из 40 подгрупп размером n=5. Графики построены в разработанном нами ПО Контрольные карты Шухарта ПРО-Аналитик (для Excel +Power Query).

На следующем шаге мы в каждой подгруппе мы отобрали только минимальные и максимальные значения в каждой из сорока подгрупп и построили по ним контрольную XmR-карту индивидуальных значений (Рисунок 5) с гистограммой распределения и точечным графиком (Рисунок 6).

Контрольная XmR-карта индивидуальных значений.

Рисунок 5. Контрольная XmR-карта индивидуальных значений для сгенерированных данных из 40 подгрупп размером n=5, с отбором только минимального и максимального значения из каждой подгруппы. Графики построены в разработанном нами ПО Контрольные карты Шухарта ПРО-Аналитик (для Excel +Power Query).

Гистограмма распределения и точечный график индивидуальных значений

Рисунок 6. Гистограмма распределения и точечный график индивидуальных значений для сгенерированных данных из 40 подгрупп размером n=5, с отбором только минимального и максимального значения из каждой подгруппы. Графики построены в разработанном нами ПО Контрольные карты Шухарта ПРО-Аналитик (для Excel +Power Query).

На следующем шаге мы заменили минимальные и максимальные значения по следующему правилу:
- если минимальное значение в подгруппе меньше нижней границы допуска, мы заменяем его значением нижней границы допуска;
- если максимальное значение в подгруппе больше верхней границы допуска - мы заменяем его значением верхней границы допуска,
и построили по ним контрольную XmR-карту индивидуальных значений (Рисунок 7) и гистограмму распределения с точечным графиком (Рисунок 8).

Контрольная XmR-карта индивидуальных значений.

Рисунок 7. Контрольная XmR-карта индивидуальных значений для сгенерированных данных из 40 подгрупп размером n=5, с отбором только минимального и максимального значения из каждой подгруппы с последующей заменой значений вне поля допуска. Графики построены в разработанном нами ПО Контрольные карты Шухарта ПРО-Аналитик (для Excel +Power Query).

Гистограмма распределения и точечный график индивидуальных значений

Рисунок 8. Гистограмма распределения и точечный график индивидуальных значений для сгенерированных данных из 40 подгрупп размером n=5, с отбором только минимального и максимального значения из каждой подгруппы с последующей заменой значений вне поля допуска. Графики построены в разработанном нами ПО Контрольные карты Шухарта ПРО-Аналитик (для Excel +Power Query).

Теперь вы можете сравнить контрольную XmR-карту и гистограмму с точечным графиком (Рисунки 1 и 2) в начале статьи, построенные по зашифрованным данным, с контрольной XmR-картой и гистограммой с точечным графиком на Рисунках 7 и 8. Никакой разницы. Значит, наша гипотеза подтвердилась.

Менеджмент этой компании получает то, что хочет от подчинённых - выпуск только качественной продукции. Кого волнует то, что производство выпускает на самом деле?!

Почему так происходит?

Видимо, контролёры в попытке защитить рабочих вынуждены заниматься подобными вещами. Ни о какой гордости операторов и контролёров своим трудом в таких условиях не может быть и речи.

Все данные для этого открытого решения входят в комплект программного обеспечения Контрольные карты Шухарта ПРО-Аналитик (для Excel +Power Query) в виде внешнего файла с данными и подготовленных запросов Power Query для автоматического построения контрольных карт с использованием функции Обновление контрольной карты Шухарта с гистограммой и точечным графиком по выбранному пользователем запросу и подключению к удалённым источникам данных через Power Query .

Откажитесь от управления на основе страха!

И это далеко не редкий случай, мы наблюдаем подобную ситуацию очень часто. В книге "Выход из кризиса" Э. Деминг описывает подобную ситуацию на одном из американских предприятий:

Контрольная карта ежедневных данных по доле дефектных изделий.

Рисунок 9. Ежедневные данные по доле дефектных изделий. В день проверяется 225 изделий. Источник: [2] - У. Эдвардс Деминг, "Выход из кризиса" / "Out of the Crisis", W. Edwards Deming

Рисунок 9 демонстрирует любопытную ситуацию. Смещение точек вверх и вниз слишком малó относительно центральной линии. Два возможных объяснения этому:

1. Процесс спроектирован так, что доля дефектных изделий практически постоянна. В общем-то это не редкость. Например, 12 палет штампуют детали по кругу. Одна из них выходит из строя. Остальные 11 продолжают работать. Продукция на выходе будет иметь одну дефектную на каждые 12 штамповок; 1/12 равна 8,3 %, что свидетельствует о нахождении в опасной близости от среднего 8,8 % на карте.

2. Приведенные на карте данные ничего не значат.

Первую версию мы (Дэвид Чамберс и я) отвергли, поскольку детально знаем процесс и сопутствующие ему условия. Второе объяснение кажется нам более правдоподобным. Контролёр не чувствовал себя в безопасности, он боялся. По заводу прошел слух, что управляющий закроет завод и уволит всех, как только доля дефектных изделий при окончательной приемке достигнет 10 %. Контролер пытался сохранить работу для 300 человек.

Где бы ни появился страх, мы получим ложные цифры. Организация живет в соответствии с теми представлениями, которые формируются в головах её сотрудников. Действительно ли этот менеджер высказывал такую угрозу и собирался исполнить ее? На самом деле это не имеет никакого значения. Мы проинформировали высший менеджмент о найденном нами объяснении – страхе. Проблема исчезла, когда управляющий заводом перешел на дру гую работу, а его сменил новый менеджер.

[2] - У. Эдвардс Деминг, "Выход из кризиса" / "Out of the Crisis", W. Edwards Deming

Эдвардс Деминг о пренебрежении знаниями.

"Знаниям нет замены. Но перспектива использования знаний пугает".

[2] Из отчета Э. Деминга по аудиту одного из американских предприятий, Книга "Выход из кризиса"