Искажение данных контроля качества продукции через подмену значений, которые не вмещаются в поле допуска. Устраните систему управления на основе страха!

Материал подготовил: научный директор Центра AQT Григорьев С. П .

Бесплатный доступ к статьям нисколько не уменьшает ценности изложенных в них материалов.

В компании производящей изделия методом термо-вакуумного прессования отбираются для контроля последовательные подгруппы по пять деталей пять раз в день. Одна пресс-форма имеет только оду форму (каждый цикл пресса производит оду деталь). По результатам измерения ключевой характеристики качества контролёры производят запись только минимального и максимального значения. Поле допуска для этой детали 18,19 - 18,27 мм. Измерительный прибор позволял записывать значения измерений с точность до 3-го знака после запятой (до тысячных), но при записи все данные округлялись до сотых.

Контролёрам следовало бы производить записи для всех прошедших контроль изделий в подгруппе размером из пяти изделий (n=5) и строить по ним XbarR-карту средних и размахов подгрупп, но запись минимального и максимального значения в подгруппе (2-х из 5-ти), это всё, что было на момент обращения к нам.

Первым, что необходимо сделать при анализе любых данных, построить простую карту хода процесса по ним, о чём постоянно напоминает Дональд Уилер, автор книги" Статистическое управление процессами. Оптимизация бизнеса с использованием контрольных карт Шухарта .

Мы построили по предоставленным данным контрольную XmR-карту индивидуальных значений с гистограммой распределения и точечным графиком, и получили графики, которые в точности напоминали (Рисунок 1).

Искажение данных контроля качества продукции через подмену значений, которые не вмещаются в поле допуска - 1

Рисунок 1. Контрольная XmR-карта индивидуальных значений с гистограммой и точечным графиком. Условные обозначения: UNPL - верхняя естественная контрольная граница процесса, LNPL - нижняя естественная контрольная граница процесса, CL - центральная линия (среднее). LSL - нижняя границы допуска, NSL - номинал поля допуска и USL - верхняя границы допуска. Рисунок подготовлен с использованием разработанного нами «Контрольные карты Шухарта ПРО-Аналитик +AI (для Windows, Mac, Linux)» .

Контрольная XmR-карта индивидуальных значений демонстрирует странное поведение процесса, почти все точки находились в зоне +/-1 сигма от центральной линии CL(x), что в нашем случае вполне объяснимо, ведь ширина контрольных границ XmR-карты определяется средним значением всех скользящих размахов между значениями двух точек, которые представляют из себя чередующиеся минимальные и максимальные значения подгрупп.

Большую ясность того, что происходит на самом деле, наглядно показали гистограмма и точечный график распределения индивидуальных значений (Рисунок 1.).

Чего вы не видите на гистограмме (Рисунок 1)?

Во время Второй мировой войны командование американских и британских ВВС поручило Абрахаму Вальду работавшему в секретной программе Группы статистических исследований (Statistical Research Group, SRG), США выяснить, какие части фюзеляжа самолёта нужно защитить дополнительной бронёй. Военные предложили установить дополнительную защиту на те части самолётов, которые пострадали больше всего во время воздушных боёв. Вальд изучал самолёты, возвращавшиеся с боевых вылетов, отмечая места попаданий. В результате он рекомендовал установить дополнительную защиту на те участки (центральную и заднюю части фюзеляжа), где количество пробоин, наоборот, было минимальным. Рекомендация была основана на выводе, что защищать нужно от тех попаданий, которых Вальд не видел, — самолёты, которые их получили, просто не возвращались. Впоследствии решения, выработанные на основе анализа только лишь известных данных, получили название "Систематическая ошибка выжившего (Survivorship bias)".

Абрахам Вальд. Систематическая ошибка выжившего (Survivorship bias)

Рисунок 2. "Самолёт". Абрахам Вальд. Систематическая ошибка выжившего (Survivorship bias).

Если провал столбцов гистограммы в центре поле допуска (Рисунок 1.) может быть объясним отсутствием записей 3-х из 5-ти значений в контролируемой подгруппе, то как объяснить практически полное отсутствие точек за границами допусков, притом что на границах допуска самые высокие столбцы гистограммы? Отсутствие каких-либо хвостов данных за границами допуска может говорить о том, что такие данные не фиксируются в записях, при этом скопление точек на границах допуска говорит о замене таких "плохих" значений приемлемыми. Например, если минимальное значение в подгруппе меньше нижней границы допуска, контролёры записывают значение нижней границы допуска, если максимальное значение в подгруппе больше верхней границы допуска - контролеры записывают значение верхней границы допуска.

Кроме прочего, точечный график определил высокую степень дискретности данных, данные округляются контролёрами до сотых. Смотрите пояснение в статье: Построение контрольных карт Шухарта по неадекватным единицам измерения ведёт ошибочным выводам .

Для проверки этой гипотезы мы сгенерировали случайные значения использовав нормальное распределение из 40 подгрупп размером n=5 (200 индивидуальных значений), со средним значением 18,23 по центру поля допуска и значением сигмы равное 0,03, которое может дать в результате описанных выше манипуляций похожие с данными Рисунка 1. результаты. Мы построили контрольную XmR-карту индивидуальных значений с гистограммой и точечным графиком по этим данным (Рисунок 3).

Искажение данных контроля качества продукции через подмену значений, которые не вмещаются в поле допуска - 2

Рисунок 3. Контрольная XmR-карта индивидуальных значений с гистограммой распределения и точечным графиком индивидуальных значений для сгенерированных данных из 40 подгрупп размером n=5. Рисунок подготовлен с использованием разработанного нами «Контрольные карты Шухарта ПРО-Аналитик +AI (для Windows, Mac, Linux)» .

На следующем шаге мы в каждой подгруппе отобрали только минимальные и максимальные значения в каждой из сорока подгрупп и построили по ним контрольную XmR-карту индивидуальных значений с гистограммой распределения и точечным графиком (Рисунок 4).

Искажение данных контроля качества продукции через подмену значений, которые не вмещаются в поле допуска - 3

Рисунок 4. Контрольная XmR-карта индивидуальных значений с гистограммой распределения и точечным графиком индивидуальных значений для сгенерированных данных из 40 подгрупп размером n=5, с отбором только минимального и максимального значения из каждой подгруппы. Рисунок подготовлен с использованием разработанного нами «Контрольные карты Шухарта ПРО-Аналитик +AI (для Windows, Mac, Linux)» .

На следующем шаге мы заменили минимальные и максимальные значения по следующему правилу:
- если минимальное значение в подгруппе меньше нижней границы допуска, мы заменяем его значением нижней границы допуска;
- если максимальное значение в подгруппе больше верхней границы допуска - мы заменяем его значением верхней границы допуска,
и построили по ним контрольную XmR-карту индивидуальных значений с гистограммой распределения и точечным графиком (Рисунок 5).

Искажение данных контроля качества продукции через подмену значений, которые не вмещаются в поле допуска - 4

Рисунок 5. Контрольная XmR-карта индивидуальных значений для сгенерированных данных из 40 подгрупп размером n=5, с отбором только минимального и максимального значения из каждой подгруппы с последующей заменой значений вне поля допуска. Рисунок подготовлен с использованием разработанного нами «Контрольные карты Шухарта ПРО-Аналитик +AI (для Windows, Mac, Linux)» .

Наша гипотеза подтвердилась.

Менеджмент этой компании получает то, что хочет от подчинённых - выпуск только качественной продукции. Кого волнует то, что производство выпускает на самом деле?!

Все данные для этого открытого решения входят в комплект разработанного нами программного обеспечения Контрольные карты Шухарта ПРО-Аналитик .

Почему так происходит?

Видимо, контролёры в попытке защитить рабочих вынуждены заниматься подобными вещами. Ни о какой гордости операторов и контролёров своим трудом в таких условиях не может быть и речи. Совершенствования качества производимой продукции становится невозможным в такой среде .

Откажитесь от управления на основе страха!

И это далеко не редкий случай, мы наблюдаем подобную ситуацию очень часто. В книге "Выход из кризиса" Эдвардс Деминг описывает подобную ситуацию на одном из американских предприятий:

Контрольная карта ежедневных данных по доле дефектных изделий.

Рисунок 6. Ежедневные данные по доле дефектных изделий. В день проверяется 225 изделий. Источник: [2] - У. Эдвардс Деминг, "Выход из кризиса" / "Out of the Crisis", W. Edwards Deming

Рисунок 6 демонстрирует любопытную ситуацию. Смещение точек вверх и вниз слишком малó относительно центральной линии. Два возможных объяснения этому:

1. Процесс спроектирован так, что доля дефектных изделий практически постоянна. В общем-то это не редкость. Например, 12 палет штампуют детали по кругу. Одна из них выходит из строя. Остальные 11 продолжают работать. Продукция на выходе будет иметь одну дефектную на каждые 12 штамповок; 1/12 равна 8,3 %, что свидетельствует о нахождении в опасной близости от среднего 8,8 % на карте.

2. Приведенные на карте данные ничего не значат.

Первую версию мы (Дэвид Чамберс и я) отвергли, поскольку детально знаем процесс и сопутствующие ему условия. Второе объяснение кажется нам более правдоподобным. Контролёр не чувствовал себя в безопасности, он боялся. По заводу прошел слух, что управляющий закроет завод и уволит всех, как только доля дефектных изделий при окончательной приемке достигнет 10 %. Контролер пытался сохранить работу для 300 человек.

Где бы ни появился страх, мы получим ложные цифры. Организация живет в соответствии с теми представлениями, которые формируются в головах её сотрудников. Действительно ли этот менеджер высказывал такую угрозу и собирался исполнить ее? На самом деле это не имеет никакого значения. Мы проинформировали высший менеджмент о найденном нами объяснении – страхе. Проблема исчезла, когда управляющий заводом перешел на другую работу, а его сменил новый менеджер.

[2] - У. Эдвардс Деминг, "Выход из кризиса" / "Out of the Crisis", W. Edwards Deming

Эдвардс Деминг о пренебрежении знаниями.

"Знаниям нет замены. Но перспектива использования знаний пугает".

[2] Из отчета Эдвардса Деминга по аудиту одного из американских предприятий, Книга "Выход из кризиса"