사과 데이터셋 탐색적 분석

1. 농촌진흥청의 과수생육 · 품질관리시스템에 접속하면 사과 품질 데이터를 확인할 수 있습니다. 사과 → 품질관리를 선택합니다.
   fruit.nihhs.go.kr/apple/qlityInfo_frutQlity.do
2. 이 시스템은 후지와 홍로 두 품종의 데이터를 제공합니다.
3. 내려받은 데이터셋은 품종별로 파일이 따로 되어 있습니다.

후지 · 홍로 품질 데이터의 일부
출처: 농촌진흥청 과수생육 · 품질관리시스템

0이 아닌 줄도 살펴봅니다. 화성 줄은 경도1이 32.7, 경도2가 33.9인데 경도 평균은 37.3입니다. 두 값의 평균(33.3)과 맞지 않습니다. 원자료에 적힌 값 그대로이므로 고치지 않고 씁니다. 눈에 띄는 0이 아니어도 값끼리 서로 맞는지 확인하는 습관이 필요합니다.

1. File 위젯 두 개로 후지와 홍로 데이터를 각각 불러옵니다. 두 데이터에 Concatenate 위젯을 연결하고, 이름을 「품종」으로 하여 새로운 속성을 추가하도록 설정합니다.
2. Concatenate에 Data Table을 연결하여 두 데이터가 통합되고 품종 속성이 추가된 것을 확인합니다. 속성값은 파일 이름인 후지 / 홍로로 채워집니다.

종경, 횡경, L/D 비율, 경도 평균에 들어 있는 0을 결측치로 바꿔 주어야 합니다. 그래야 프로그램이 그 값을 빼고 계산합니다. 오렌지의 Python Script 위젯으로 처리할 수 있습니다.

이 위젯은 Concatenate와 Select Columns 사이에 끼워 넣습니다. 종경 · 횡경은 Select Columns에서 빠지므로, 빠지기 전에 0을 결측치로 바꿔야 코드가 그 속성을 찾을 수 있습니다.

import numpy as np
import Orange.data.pandas_compat as p

# 입력 데이터를 판다스의 데이터프레임에 저장
df = p.pd.concat(in_data.to_pandas_dfs(), axis=1)

# 각 속성에서 0의 값을 결측치(NaN)로 대체
df['종경(mm)']  = df['종경(mm)'].replace(0, np.nan)
df['횡경(mm)']  = df['횡경(mm)'].replace(0, np.nan)
df['L/D 비율']  = df['L/D 비율'].replace(0, np.nan)
df['경도평균']  = df['경도평균'].replace(0, np.nan)

# 데이터프레임의 값을 출력하기
out_data = p.table_from_frame(df)

Select Rows에 Correlations 위젯을 연결합니다. 당도 속성을 선택하면 당도와 다른 속성의 상관관계를 확인할 수 있습니다.

Select Rows에 Scatter Plot 위젯을 연결합니다. x축에 착색 (Hunter a), y축에 당도를 두고 품종별로 색을 나누어 그립니다. 상관계수를 함께 보려면 Show regression line을 선택합니다.

품종 간의 차이를 비교하기 위해 Select Rows에 Group by와 Data Table 위젯을 연결합니다. Group by 창에서 품종을 그룹으로 나누고 집계 방식을 설정합니다.

품종별 8개 속성의 평균과 표준 편차
출처: 농촌진흥청 과수생육 · 품질관리시스템

출처: 한국사과연합회