Графики парной корреляции (диаграмм рассеяния) с гистограммами распределения и тепловая корреляционная матрица для неограниченного числа факторов

Многомерный статистический анализ MSA (Multivariate Statistical Analysis).

Функция построения диаграмм рассеяния с гистограммами распределения и тепловой картой корреляций представляет эффективный способ визуального представления статистических функциональных зависимостей между множеством факторов (измерения и подсчёты), представленных в ваших данных. На каждом графике выводится уравнение линии тренда, коэффициент корреляции Пирсона [R] и коэффициент детерминации [R²].

Вы можете загрузить пример структурированного табличного файла для построения диаграмм рассеяния с гистограммами распределения значений и тепловой картой корреляций: XLSX .

Для импорта могут быть использованы структурированные данные из табличных файлов: Книга Excel (*.xlsx); Двоичная книга Excel (*.xlsb); Электронная таблица OpenDocument Spreadsheet (*.ods).

Важно заметить, что высокий коэффициент корреляции не доказывает причинно-следственной связи анализируемых факторов, а говорит об их статистической функциональной связи. Например, оба фактора могут зависеть от какого-либо другого или группы других факторов.

Рисунок 1. Открыто меню главного окна программы для перехода к панели управления многомерным анализом данных.

Рисунок 2. Выведена выпадающая подсказка при наведении курсора мыши на кнопку перехода к панели управления графиком парной корреляции (диаграмм рассеяния) с гистограммами распределения индивидуальных значений.

Рисунок 3. Панель управления диаграммой рассеяния с гистограммами. Кликом левой кнопки мыши по выбранной пользователем точке на графике диаграммы рассеяния выводится подпись с номером точки (строки) данных. Кликом левой кнопки мыши по выбранной пользователем цветной области в тепловой карте выводится подпись с именами столбцов исходных данных по осям Y, X и коэффициентом корреляции. Скрытие подписей осуществляет кликом правой кнопки мыши по области подписи.

При большом количестве отслеживаемых измеримых факторов даже опытному технологу сложно поддерживать представление о возможных взаимосвязях контролируемых характеристик процессов. С помощью нашего программного обеспечения вы можете проанализировать неограниченное количество факторов в один клик, обратить внимание на аномальные выбросы (точки вне общей совокупности на графике) или на несоответствия ожидаемым размеру и направлению корреляции (отрицательная, нулевая, положительная) в парах анализируемых значений.

Рисунок 4. Панель управления диаграммой рассеяния с гистограммами. Открыта выпадающая подсказка при наведении курсора мыши на кнопку перехода в управлению тепловой картой.

Рисунок 5. Панель управления тепловой картой. Отключены подписи коэффициентов корреляции в тепловой карте. В панели управления тепловой картой выбран диапазон всех 35 столбцов исходных данных. Выведена подпись к выбранной пользователем области корреляции на тепловой карте. Источник данных Ames Housing Dataset.

Выражение "4.552e+04" означает число 45 520. Это число представлено в научной нотации, где "e+04" означает умножение на 10 в степени 4, то есть число умножается на 10, четыре раза.

Рисунок 6. Панель управления тепловой картой. В области управления тепловой картой включены подписи значений корреляций и выбран диапазон от 25 до 35 столбца (включительно) исходных данных. Источник данных Ames Housing Dataset.

Определения

Коэффициент корреляции и коэффициент детерминации связаны друг с другом и оба используются для измерения степени связи между двумя переменными.

Коэффициент корреляции (обозначается как R или r) измеряет степень линейной связи между двумя переменными (x) и (y). Он принимает значения от -1 до 1, где -1 означает полную отрицательную линейную связь, 1 означает положительную линейную связь, а 0 означает отсутствие линейной связи. Коэффициент корреляции показывает, насколько точки данных приближены к линии тренда или регрессионной прямой. Таким образом, чем ближе точки данных лежат к линии тренда, тем выше коэффициент корреляции и тем сильнее связь между переменными (x) и (y).

Коэффициент детерминации (обозначается как R² или r²) является квадратом коэффициента корреляции. Он показывает, какую долю изменчивости зависимой переменной (y) можно объяснить с помощью независимой переменной (x). Коэффициент детерминации принимает значения от 0 до 1, где 0 означает, что независимая переменная не объясняет изменчивость зависимой переменной, а 1 означает, что независимая переменная полностью объясняет изменчивость зависимой переменной.

Таким образом, коэффициент корреляции показывает степень связи между переменными, а коэффициент детерминации показывает, насколько хорошо независимая переменная объясняет изменчивость зависимой переменной.

Определение выбросов

Часто, с помощью простых графических методов можно понять, какой из двух факторов в паре виновен в наблюдаемом выбросе, для этого достаточно взглянуть на графики корреляции с гистограммами каждого фактора и с самим собой, см. Рисунок 6.

Рисунок 7. Панель управления тепловой картой корреляции: графики корреляции всех факторов и Фактора-1 с самими собой. Видна проблема с записью двух значений Фактора-1.

Но с операциональным смыслом такое понимание "виновника выброса" может подтвердить или опровергнуть только контрольная XmR-карта Шухарта для индивидуальных значений, построенная по исходным данным Фактора-1, см. Рисунок 5 ниже.

Рисунок 8. Контрольная XmR-карта индивидуальных значений, построенная по исходным данным Фактора-1 (до удаления выбросов).

Рисунок 9. Контрольная XmR-карта индивидуальных значений, построенная по исходным данным Фактора-2. Серия красных точек с 81 по 89 на графике mR-карты - повод разобраться с особыми причинами, проявившимися в этих точках. Важно что многофакторный анализ на Рисунке 4 не имеет такой способности.

Рисунок 10. Контрольная XmR-карта индивидуальных значений, построенная по исходным данным Фактора-3.

Важно

Иногда удаление всего одной точки с выбросом может изменить направление корреляции (направление линии тренда) с положительной корреляции на отрицательную. Вы должны знать о возможности такого поведения линии тренда и всех автоматически вычисляемых производных, например: уравнение функции тренда, коэффициент детерминации R2 (величина достоверности аппроксимации) и корреляции R. Это замечание относится и к уравнению линейной и других видов регрессий, построенных по исходным данным. Первым делом посмотрите на ваши данные, представленные в графическом виде на контрольной карте Шухарта. Обрати внимание на процесс ввода первоначальных данных оператором и улучшите его, используя автоматизированную проверку вводимых значений.

Пример. На одном крупном производственном предприятии, выпускающем один вид продукции, немного отличающийся только по длине и диаметру, результаты многофакторного корреляционного анализа пары показателей округлости сечения продуктов продемонстрировали противоположные направления корреляции этих показателей, без признаков выбросов в исходных данных. Позволило мне указать производственному менеджменту на различные способы управления одинаковыми процессами оператором технологической линии в зависимости от размера продукта, что явилось предметом для исследования того, что же на самом деле делает оператор.

Часто выбросы обусловлены банальными причинам, например, ошибкой записи значений считаных с приборов контролёрами (и это особая причина). Контрольные карты Шухарта легко справляются с такими ошибочными записями, которые оказываются вне зоны, ограниченной верхней и нижней контрольными границами процесса, например, знак разделяющий целую и дробную часть смещён на одну цифру. Например, вместо 0,232 записано 0,0232 или 2,32.

Но бывают случаи, когда контролёр ошибается в записи значения, которое при этом остаётся в зоне, ограниченной верхней и нижней контрольными границами процесса, в случае ошибки записи одной цифры. Например, вместо (0,232) записано (0,282). В таком случе у функций многомерного статистического контроля будет больше шансов определить строку данных с ошибкой записи. Но вы должны понимать, что робастность (универсальная применимость) контрольных карт Шухарта обусловлена тем, что такие ошибки не окажут сколь-нибудь значимого влияния на расчёт контрольных границ процесса и в этом самое важное свойство контрольных карт Шухарта.

Любители поупражняться с цифрами могут воспользоваться функциями машинного обучения для регрессионных моделей (предсказание непрерывных величин) нашего программного обеспечения или пакетом "Анализ данных", входящим в комплект с Microsoft Excel, для вычисления линейной регрессионной модели данных. Далее можно будет применить Контрольную карту (XmR или XbarR) Шухарта для анализа остатков (разницы фактических и предсказанных моделью значений). Если контрольная карта продемонстрирует подгруппы (красные точки) с признаками особых причин вариабельности, которые могут свидетельствовать и о несоответствии модели данных текущему процессу, с этими причинами придётся разобраться и устранить их.

Например, контрольная XmR-карта индивидуальных значений и скользящих размахов, построенная по значениям [остатков] регрессионной модели, будет служить в качестве операционального определения , а не субъективного суждения, о наблюдаемых на графиках рассеяния выбросах (выброс или не выброс).

Более того, такой анализ [остатков] сохранит информацию о стороне смещения фактического значения относительно значений, предсказанных функцией линейной регрессии, что существенно облегчает интерпретацию ваших данных и является важным отличием от анализа данных с помощью карт Хотеллинга T2.

Об увлечении многофакторным SPC

Утверждение многих специалистов, любящих работать с цифрами, а не с процессами на цеховом уровне, о назначении многомерного статистического управления процессами для более эффективного контроля за многофакторными процессами в отличии от обычных контрольных карт Шухарта, лишено всякого смысла. Как будто Шухарт, Деминг, Уилер строили свои контрольные карты для однофакторных процессов, таких процессов просто не бывает. Более того, производственные процессы, если вы даже не начинали управлять ими с помощью контрольных карт Шухарта, скорее всего находятся в статистически неуправляемом (непредсказуемом) состоянии. Контрольные карты Шухарта для таких процессов уже будут иметь сигналы, с которыми надо будет разобраться для ликвидации особых причин и приведения процессов в статистически управляемое состояние.

Хотя менеджменту многомерный анализ может показаться передовым, объяснение рабочим в цеху того, что вы получили с помощью многомерного статистического контроля, лишь запутает их, подтвердив "очень сложную" работу по совершенствованию цеховых процессов и лишний раз отпугнёт сотрудников компании, работающих на цеховом уровне.