[Statistics with R] Descriptive Statistics #1

Descriptive Statistics (기술통계) - 주어진 데이터를 가지고 도표나 그래프를 그려보거나, 데이터의 중심 경향도나 퍼짐의 정도 등을 이용하여 데이터의 특성을 설명하는 통계 방법

* Inferential Statistics(추측통계) - 모집단에서 추출된 표본에서 나온 통계치로부터 모수를 추정하거나 가설을 검정함


1. 집계표와 집계 그래프

* Frequency Table (도수분포표) - 자료를 일정한 수의 범위로 나누어 분류하고, 각 범위별로 수량을 정리한 표.

(1) 변량 : 자료를 수량으로 나타낸 것

(2) Class(계급) : 변량을 일정한 간격으로 나눈 구간

(3) 계급의 크기 : 변량을 나눈 구간의 너비

(4) 계급값 : 계급의 중앙의 값.

(5) Frequency(도수) : 각 계급에 속하는 자료의 수

(6) Frequency Table(도수분포표) : 주어진 자료를 몇 개의 구간으로 나누고 각 계급에 속하는 도수를 조사하여 나타낸

** Example Script - R

* Contingency Table(분할표) - 각 개체를 어떤 특성(예를 들면, 성별, 나이)에 따라 분류할 때에 얻어지는 자료 정리표이다. 두 가지 변수만으로 구성될 경우 이차원 분할표 혹은 이원분할표가 만들어지고, 여러 가지 변수로 구성될 경우 다차원 분할표가 만들어진다. 두 특성을 분류기준으로 이용할 때 어느 것을 행(row)으로, 어느 것을 열(column)로 정하느냐 하는 것은 자의적이며, 이원분할표에서 두 변수간의 동질성 가정이나 독립성 여부는 카이자승 검정으로 결정한다.

- Marginal Frequency (주변도수) : 분할표에서 행이나 열의 합 - addmargins(data)
- Joint Frequency(결합도수) :  각 셀의 도수

- Marginal Probability(주변확률) : 결합분포표에서 행이나 열의 합계

- hist(), truehist()
- Pie Chart : pie()
- Bar Chart : barplot()
- Mosaic Plot 

* 비율이라는 수치가 2차원 공간에서 면적으로 시각화되어 이해를 쉽게 도와주는 것이고, 이것이 바로 수치 정보인 분할표를 그래프로 변환하는 배경이기도 하다.

[Statistics with R] Data Manipulation

* 데이터 처리를 위한 기본 정보

1. 기본 데이터 타입 ( Basic Type )

logical	논리 값, T or True, F or False
numeric	수치 값, duble, numeric, real (double-precision)
integer	정수 값
character	문자 값, 인용부호로 표기된 것
complex	복소수 값
raw	Bytes 값

R의 typeof(), mode(), storage.mode() 함수를 사용하여 기본데이터 타입을 체크/확인 할 수 있음

typeof	mode	storage.mode
logical	logical	logical
inetger	numeric	inetger
double	numeric	double
complex	complex	complex
character	character	character

2. 특수한 값

NA : 결측치 (Missing Value)
NaN : 부정(Not a Number), 어떤 값을 0으로 나눈 것
Inf, -Inf : 무한대 (infinite), 양의 무한대, 음의 무한대
NULL : 정의되지 않은 값

쓰다보면 정해진 상수를 사용하는 경우가 있음

pi : 원주율
LETTERS : "A"부터 "Z" 까지의 26개 대문자 알파벳 백터
letters : "a"부터 "z" 까지의 26개 소문자 알파벳 백터
month.abb : "Jan" 부터 "Dec" 까지의 12개월을 나타내는 약어 벡터
month.name : "January" 부터 "December" 까지의 12개월을 나타내는 이름 벡터



3. 데이터 객체

Vector(벡터) - 동일한 기본 데이터 타입으로 구성된 순서가 있는 데이터 구조이며 수학적인 의미의 벡터 이상의 기능이 있어서 문자 값이나 논리 값을 원소로 가질 수 있다.

Matrix(행렬) - 동일한 데이터 모드로 구성된 사각형 구조의 값들이 집합으로 수학에서 행렬을 표현할 수 있다.

Arrary(배열) - 동일한 데이터 모드로 구성된 배열 구조의 값들의 집합으로 행렬은 2차원 배열이라 할 수 있다.

List(리스트) - 데이터 모드가 다른 데이터들을 표현할 수 있는데 Component라고 불리는 각기 다른 데이터 객체로 구성된 데이터 구조체 이다.

Factor - 통계학에서 Categorical Data(범주형 데이터)인 명목척도와 서열척도를 표현하는 데이터 객체로 벡터의 특수한 형태라고 할 수 있다.

Data Frame(데이터프레임) - 일반적인 data set (데이터셋)을 표현하며, 데이터베이스 시스템의 테이블과 유사한 구조이다. 한개 이상의 변수로 구성되며, 각각의 변수의 모드는 같거나 다를 수 있다.

4. Data Import and Export ( Included R Data Save )

외부에 있는 데이터를 읽어 오게 되는 경우가 대부분 일 것이다. 간단하게 테스트 하는 형태로는 엑셀 파일이나 CSV, TEXT 파일 등일수 있으나 RDB로 부터 직접 읽어 드리는 방법도 존재 한다. 이번 포스팅에서는 간단한 형태의 파일을 읽어 오고 내보내는 기능을 보고 향후 포스팅에서 Oracle Database 를 직접 연결하여 가져오는 방법을 공유하도록 한다.

 R Studio - Windows 64Bit 환경 에서 테스트 하였음. 작업을 하다 보면 첨부 이미지와 같이 변수 데이터 들이 저장되어 있음을 볼 수 있다.

# R Studio Image Save
save.image("~/rSample/R_Book/Example_20140225.RData")

# R Studio Image Load
load("~/rSample/R_Book/Example_20140225.RData")


## Oracle Data Import
# Packages Install
install.packages("RODBC")
install.packages("sqldf")
install.packages("tcltk")

# Library Load
library(RODBC)
library(sqldf)
library(tcltk)


#Channel Setting
#channel <- odbcConnect("TNS 설정이름", uid="DB접속아이디", pwd="접속패스워드", believeNRows=FALSE)

channel <- odbcConnect("REAL", uid="USER_ID", pwd="PASSWD", believeNRows=FALSE)

#Data Load
tSales  <- sqlQuery(channel, "select sdate, sales_amt from dual")

str(tSales)
summary(tSales)



## 이 글은 " R을 이용한 통계학의 이해(자유아카데미) " 내용 중 일부를 발췌하였고 개인이 직접 추가한 자료를 포함 하고 있음을 알린다.

## 구매 자유아카데미 출판사 사이트  이곳을 클릭하여 연결

[System] R and RStudio Server x64 on Linux CentOS 6

데이터 분석 스터디 그룹을 위한 RStudio Server RPM 버전 설치 작업  #1

#패키지 다운로드   

[root@ ~] rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm

[root@ ~] yum install R

#만일 위에서 설치 중 TCL 관련 패키지가 요구되는 경우 아래와 같이 진행 한다.

[root@ ~]  rpm -Uvh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-7.noarch.rpmsudo 

yum [root@ ~]  install tcl

[root@ ~]  sudo yum clean all

[root@ ~]  sudo yum install R

  

#RStudio 설치 - 버전에 따라 다를 수 있으니 항상 최신 버전 확인 후 설치  

[root@ ~]  wget http://download2.rstudio.org/rstudio-server-0.97.551-x86_64.rpm

[root@ ~]  sudo yum install --nogpgcheck rstudio-server-0.97.551-x86_64.rpm

#RStudio 시작, 종료, 재시작 확인 사항 

[root@ ~]  /etc/init.d/rstudio-server start | stop | restart

 #리눅스 방화벽에 해당 포트 접속 승인 추가 8787 

[root@oracle ~] vi /etc/sysconfig/iptable  

#서비스 재시작 

[root@oracle ~] service iptables restart  

http://www.rstudio.com/ide/docs/server/getting_started

[ORACLE] FUNCTION - GREATEST OR LEAST

MAX VALUE --> GREATEST(EXPR1, EXPR2, ..., EXPR-N)  
MIN VALUE --> LEAST(EXPR1, EXPR2, ..., EXPR-N)


SAMPLE) 100 = GREATEST(100, 50, 20) --> TRUE 
SAMPLE) 20 = LEAST(100, 50, 20) --> TRUE 
SAMPLE) NULL = LEAST(100, 50, 20, NULL) --> TRUE 

* EXCEPTION
SAMPLE) 'A' = LEAST(100, 50, 20, NULL, 'A') --> ERROR 

[ORACLE] PL/SQL PREDEFINED EXCEPTION - 미리정의된 예약

오랜만에 PL/SQL을 하다 보니 예외처르 부분에 대해서 작성하다가 자꾸 책을 찾아 보게 되서 정리된 내용을 블러그에 올려 놓고 참고 하기로

예외내용	예외번호	SQLCODE	발생시점
ACCESS_INTO_NULL	ORA-06530	-6530	초기화 되지 않은 오브젝트에 값을 할당하려고 할 경우
CASE_NOT_FOUND	ORA-06592	-6592	CASE 문장에서 ELSE 구문도 없고 WHEN 절에 명시된 조건을 만족하는 것이 하나도 없을 경우
COLLECTION_IS_NULL	ORA-06531	-6531	초기화 되지 않은 중첩 테이블이나 VARRAY 같은 콜렉션을 EXISTS 외의 다른 메소드로 접근을 시도할 경우 발생
COURSOR_ALREADY_OPEN	ORA-06511	-6511	이미 오픈된 커서를 다시 오픈하려고 시도 하는 경우
DUP_VAL_ON_INDEX	ORA-00001	-1	유일 인덱스가 걸린 컬럼에 중복 데이터를 입력할 경우
INVALID_CURSOR	ORA-01001	-1001	허용되지 않는 커서에 접근할 경우 (오픈되지 않은 커서를 닫으려고 시도하는 경우)
INVALID_NUMBER	ORA-01722	-1722	SQL 문장에서 문자형 데이터를 숫자형으로 변활할 때 제대로 된 숫자로 변환이 되지 않을 경우
LOGIN_DENIED	ORA-01017	-1017	잘못된 사용자나 비밀번호로 로그인을 시도 할 때
NO_DATA_FOUND	ORA-01403	100	SELECT INTO 문장의 결과로 선택된 로우가 하나도 없을 경우
NOT_LOGGED_ON	ORA-01012	-1012	오라클에 연결되지 않았을 경우
PROGRAM_ERROR	ORA-06501	-6501	PL/SQL 내부에 문제가 발생했을 경우
SELF_IS_NULL	ORA-30625	-30625	OBEJCT 타입이 초기화 되지 않은 상태에서 MEMBER 메소드를 사용할 경우
STORAGE_ERROR	ORA-06500	-6500	메모리가 부족한 경우
SUBSCRIPT_BEYOND_CONUNT	ORA-06532	-6532	충첩 테이블이나 VARRAY의 요소값에 접근할 때, 명시한 인덱스 번호가 콜렉션 전체 크기를 넘어서는 경우
SUBSCRIPT_OUTSIDE_LIMIT	ORA-01410	-1410	충첩 테이블이나 VARRAY의 요소값에 접근할 때, 잘못된 인덱스 번호를 사용할 경우
SYS_INVALID_ROWID	ORA-01410	-1410	문자열을 ROWID로 변환할 때 변환값에 해당하는 ROWID값이 없을 경우
TIMEOUT_ON_RESOURCE	ORA-00051	-51	오라클이 리소스를 기다리는 동안 타임아웃이 발생했을 때
TO_MANY_ROWS	ORA-01422	-1422	SELECT INTO 문장에서 하나 이상의 로우가 반환될 때
VALUE_ERROR	ORA-06502	-6502	문자형 데이터를 숫자형으로 변환하는데 타당한 숫자가 아니거나 값을 할당 시 값의 크기가 선언된 변수의 크기를 넘어서는 경우와 같이 값을 변환하거나 할당할 때 오류가 발생할 경우
ZERO_DIVIDE	ORA-01476	-1476	제수가 0일때 발생

[PowerBuilder] 일상적인 Tip 그리고 오류 들

Tip 01. Windows7 64Bit 레지스트리 값을 가져오지 못하는 경우

XP 환경에서 계속 개발을 하다가 올해 부터 Windows7 64Bit 를 사용하였다. 그러다 보니 과거 프로그래밍해 놓은것들이 64Bit 환경에서 잘 안되는 것들이 하나둘 씩 생기기 시작 했다.
그중 레지스트리 값을 읽어 오지 못하는 경우가 있었음..

* 변경 이전
RegistryGet("HKEY_LOCAL_MACHINE\SOFTWARE\AAA\SetText", "SetYn", Ls_SetYn)

* 변경 이후
RegistryGet("HKEY_CURRENT_USER\SOFTWARE\AAA\SetText", "SetYn", Ls_SetYn)

기본적으로 windows 7에서는 사용자계정컨트롤이 켜져 있을때와 꺼져있을때 참조하는 위치가 다릅니다. HKEY_LOCAL_MACHINE\SOFTWARE\Wow6432Node 여기 아래를 참조하게 되지요.. 따라서, local_machine 보다는 HKEY_CURRENT_USER 아래로 위치를 바꾸세요~
[출처] 윈도우7(64Bit)레지스터 가져오기 안되는데요 (파워빌더 커뮤니티(PBExpertClub))
| 덧글 작성자 까리보이 허륜석


Tip 02.

[책추천 #21] 통계의 힘 - 나사우치 히로무 지음

빅데이터, 빅데이터 라는 말을 저도 자주 언급했지만 뉴스나 신문지상에 나오는 키워드로 많이 듣고 있습니다. 추천드리는 이 책도 제목의 시작으로 빅데이터를 지해하는 이라는 말을 붙이기는 했습니다만 책의 전반적인 내용은 통계학이 가지고 있는 장점들이 주요 내용이고 이러한 장점들이 빅데이터 시대를 맞이 하여 그 활용 가치가 극대화 될것이라는 내용입니다. 

최근의 신문이나 방송에 나오는 많은 서비스들은 예측되어 나오는 것이거나 한 사람에게 개인화 되어 있는 것들이 대부분 입니다. 사람들의 소비패턴을 분석한다든가 하는 세상의 많은 것들 ( 그러니깐 과거에는 분석할 엄두를 또는 분석할 가치를 느끼지 못했던 것들)에 대한 새로운 관점의 분석을 요구하게 되어 있습니다. 그러한 분석을 위한 전문인력을 키우려고 하고 또 보유하려는 노력을 기울이고 있습니다. 이러한 흐름은 우리나라 뿐 아니고 이미 세계적으로도 동일한 흐름이라고 이해 하시면 됩니다. 그래서 이러한 분석을 위해서 기반이 되는 통계적 사고법은 우리가 글을 읽고/쓰는 능력 만큼 기본적인 능력이 될것입니다. 

디지털 시대라고 하는 이전과 현재의 시대에는 정보를 얼마나 빨리 정확하게 수집하느냐가 세계를 다스리는 시대라면 현재와 미래에는 수집된 정보를 활용하는 통계학적 사고법을 가진자가 세계를 다스리는 시대가 될것 입니다. (윤종록 - 미래창조과학부 제2차관 ) 

우리는 많은 분야 많은 부분에 대해서 단순 비교법을 주로 활용합니다. 전체 중 평균적인 값이라든지 집계된 합계 값이라든지.. 극단적인 비교이긴 하지만. 책의 내용 중에 인과관계에 대한 비교의 중요성에 대한 부분을 첨가 합니다. 

적절한 비교를 거치지 않은 단순집계가 얼마나 문제인지 알기 쉬운 사례를 들어 설명하겠다. 

다음 음식을 금지해야 마땅한지 생각해보자 

* 심근경색으로 사망한 일본인의 95% 이상이 이 음식을 먹었다. 

* 강도, 살인범의 70% 이상이 범행전 24시간 내 이 음식을 먹었다. 

* 일본인에게 섭취를 금지하면 정신적 스트레스를 조장한다. 

* 에도시대 이후 일본에서 발생한 폭동의 대부분은 이 음식이 원인이다. 

이 음식은 다름 아닌 밥이다. 이렇게 한쪽의 단순집계만을 보면 "쌀밥 먹는 것을 금지해야 한다" 같은 어처구니 없는 결론이 내려질 위험도 있다. 이러한 무의미한 "분석"이 부지기수로 많다. 해외의 일류 비즈니스 스쿨에서 널리 읽히는 전문서에조차 이처럼 무의미한 해석과 근거로 "그 캠페인이 성공했다"고 주장하는 사례가 실려 있기도 하다 

하지만 "충분한 데이터"를 바탕으로 "적절한 비교"를 하는 통계적 인과추론의 기초만 몸에 배어 있으면 경험이나 감을 뛰어넘어 비즈니스를 단숨에 한 단계 업그레이드 시키는 비결을 손쉽게 찾아 낼 수 있다. 

-- 페이지 82 ~ 83 

이쯤 되면 그래서 어떻게 해야 하는데 하는 의문이 드실 수 있습니다. 그런 분들께 이 책을 추천드립니다. 기존의 의사결정에서 좀더 데이터적 분석과 의사결정이 필요 하신 분들께 추천 드립니다. 이 책은 통계학에 대한 세부 알고리즘을 설명하기 보다는 기본적인 통계학 개념이 어떤 분야에 사용되어지고 간략한 예제는 어떤것이 있다고 까지만 설명하고 있습니다. 전체를 좀 훌터보면서 읽어 보시는 것을 추천드리고 이에 각 분야 또는 업무에 활용 할 수 있는 통계학적 지식이 있다면 추가로 전문적인 문서를 좀더 읽어 보시기를 권장 합니다. 

"To Err is Human - 누구나 실수 할 수 있다" 또는 "Why to Err is Human - 무엇이 우리 판단을 조작하는가?"  책을 읽어 보면 실수는 사람의 일이라고 이해 하는것이 더 적절한 표현이라는 생각이 듭니다. 우리는 앞으로 수없이 많은 실수를 범하게 될것 입니다. 그리고 이미 지금도 그 많은 실수를 하고 있겠지요. 그것이 뇌가 하고 있는 습관과 경험의 관점에서는 비합리적인 의사결정이라고 하더라도 인간이 좀더 다양한 관점과 좀더 다양한 분석을 통한 최선을 다 할 때 해결책이 구해지는 것은 인간에게 허락된 대단히 고마운 용서라고 생각합니다.

이 책에서 다루는 내용은 다음 목차를 통해서 공유합니다. 

제1장 빅데이터, 통계학에서부터 시작하라

   01 _ 실생활과 밀접한 통계 리터러시 

   02 _ 답을 알려주는 실용적인 학문, 통계학

   03 _ 통계학은 모든 과학적 분석 방법의 기본 

   04 _ IT와 통계학의 기막힌 결혼 

제2장 정보비용을 대폭 줄여주는 통계 

   05 _ 통계가가 본 빅데이터 광상곡 

   06 _ 뉴딜정책을 뒷받침한 통계가들

   07 _ 의미 있는 오차범위와 비용

제3장 오차와 인과관계가 통계학의 핵심이다

   08 _ 나이팅게일식 통계의 한계 

   09 _ 인과관계를 생각하지 않는 통계해석은 의미가 없다

   10 _ ‘60억 엔을 버는 비결’이 담긴 리포트 

   11 _ 오바마가 선거에서 승리한 이유 

   12 _ 그것은 이익에 직결되는가? 

   13 _ ‘인과관계의 방향’을 밝혀내어야 한다

제4장 ‘임의화’라는 최강의 무기 활용하기 

   14 _ 우유가 먼저인가, 홍차가 먼저인가? 

   15 _ 임의화 비교실험이 사회과학을 가능하게 했다 

   16 _ ‘재봉틀 두 대 사면 10% 할인’으로 매출이 오를까 

   17 _ 임의화의 세 가지 한계 

제5장 통계학은 계속 발전하고 있다 

   18 _ 역학의 발전이 증명한 담배의 위험 

   19 _ ‘평범으로의 회귀’를 분석하는 회귀분석 

   20 _ 천재 피셔의 또 다른 업적 

   21 _ 통계학의 이해도를 높여주는 단 한 장의 도표8

   22 _ 다중회귀분석과 로지스틱 회귀 

   23 _ 통계학자가 극대화한 인과의 추론 

제6장 통계학의 여섯 가지 활용 분야

   24 _ 사회조사법 대 역학과 생물통계학

   25 _ IQ를 탄생시킨 심리통계학 

   26 _ 마케팅 현장에서 생겨난 데이터마이닝 

   27 _ 문장을 분석하는 텍스트마이닝

   28 _ ‘연역’의 계량경제학과 ‘귀납’의 통계학 

   29 _ 베이즈파와 빈도론파의 확률을 둘러싼 대립 

제7장 에비던스 활용하기 

   30 _ 거인의 어깨 위에 서는 방법

   31 _ 에비던스, 어떻게 찾을 것인가