파이썬 pandas에서 관리하는 데이터 형식에 대해 이해해야 할 점은?

Q1: pandas에서 주로 사용하는 데이터 구조는 무엇인가요?
A1: pandas의 주요 데이터 구조는 Series(1차원 배열)와 DataFrame(2차원 표 형태)입니다. Series는 인덱스가 붙은 1차원 데이터이며, DataFrame은 여러 Series가 같은 인덱스를 공유하며 모여있는 2차원 데이터 구조입니다.

Q2: pandas의 데이터 타입은 어떻게 관리되나요?
A2: pandas는 기본적으로 NumPy 데이터 타입을 기반으로 하며, int, float, bool, datetime, category 등 다양한 형식을 지원합니다. 각 열(column)은 동일한 데이터 타입을 가지는 것이 원칙입니다.

Q3: pandas에서 문자열 데이터는 어떻게 처리하나요?
A3: 문자열 데이터는 일반적으로 object dtype으로 저장됩니다. pandas 1.0 이후로는 문자열 전용 dtype인 string dtype도 지원하여 메모리 관리와 성능면에서 개선된 문자열 처리가 가능합니다.

Q4: 결측치(NaN)는 어떤 데이터 타입에서 표현되나요?
A4: pandas는 float, object, datetime64 등 여러 dtype에서 결측치를 지원합니다. 특히 float형에서는 np.nan으로, object형에서는 None이나 np.nan으로 결측치를 표현합니다.

Q5: 범주형 데이터(categorical data)란 무엇이며, 왜 사용하나요?
A5: 범주형 데이터는 값의 종류가 제한된 변수를 의미하며, pandas는 category dtype으로 저장합니다. 메모리 절약과 연산 속도 향상을 위해 사용하며, 데이터 분석 시 그룹화 및 통계 작업에 유리합니다.
Q6: pandas에서 시간 데이터(datetime)는 어떻게 관리하나요?
A6: pandas는 datetime64[ns]와 timedelta64[ns] 같은 타입을 지원해 날짜 및 시간 연산이 편리합니다. pandas.to_datetime() 함수를 통해 다양한 포맷의 문자열을 datetime으로 변환할 수 있습니다.

Q7: 다중 인덱스(MultiIndex) 데이터 타입은 무엇인가요?
A7: MultiIndex는 여러 수준의 인덱스를 가진 데이터로, 복잡한 계층적 데이터 표현에 사용됩니다. DataFrame이나 Series 모두 MultiIndex를 인덱스 또는 컬럼에 적용할 수 있습니다.

Q8: pandas 데이터 타입을 확인하는 방법은?
A8: Series의 dtype 속성이나 DataFrame의 dtypes 속성을 사용하면 각 열의 데이터 타입을 확인할 수 있습니다.

Q9: pandas 데이터 타입을 변경하려면 어떻게 해야 하나요?
A9: astype() 메서드를 사용해 특정 열이나 Series의 데이터 타입을 변경할 수 있습니다. 예를 들어, df['col'] = df['col'].astype('float64') 처럼 사용합니다.

Q10: pandas에서 대용량 데이터 처리 시 데이터 타입 선정의 중요성은?
A10: 적절한 데이터 타입을 선택하면 메모리 사용량을 크게 줄이고 연산 속도를 높일 수 있습니다. 예를 들어, int64 대신 int8, float64 대신 float32로 타입을 지정하면 메모리를 절약할 수 있습니다. category 타입도 메모리 최적화에 효과적입니다.

Pandas는 파이썬에서 데이터 분석 및 조작을 위한 강력한 라이브러리로, 주로 두 가지 주요 데이터 구조인 `Series`와 `DataFrame`을 사용합니다.

이 데이터 형식들을 이해하는 것은 Pandas를 효과적으로 활용하는 데 매우 중요합니다.

다음은 각각에 대해 알아야 할 주요 사항입니다.

1. Series - 정의 : `Series`는 일차원 배열과 비슷한 형태로, 숫자형 인덱스와 함께 비가시적인 형태로 데이터를 담습니다.

- 특징 : - 데이터는 같은 형식을 가져야 하며, 데이터 타입은 NumPy의 데이터 유형에 준합니다.

- 레이블이 있는 인덱스가 지원되어, 각 원소에 대한 접근이 용이합니다.

- 여러 데이터 유형(정수, 실수, 문자열 등)을 담을 수 있지만, 혼합된 데이터 유형은 일반적으로 비효율적입니다.

- 생성 : `pd.Series(data, index=...)`와 같이 생성할 수 있습니다.



2. DataFrame - 정의 : `DataFrame`은 2차원 표 형식의 데이터 구조로, 엑셀 같은 스프레드시트 형태와 유사합니다.

- 특징 : - 행과 열로 구성되며, 각 열은 서로 다른 데이터 타입을 가질 수 있습니다 (예: 정수, 실수, 문자열). - 각 열은 `Series` 객체에 해당하며, 행은 인덱스, 열은 칼럼 라벨로 접근할 수 있습니다.

- 다양한 형태의 데이터 소스(예: CSV 파일, 엑셀 파일, SQL 데이터베이스 등)에서 데이터를 쉽게 불러올 수 있습니다.

- 생성 : `pd.DataFrame(data, index=..., columns=...)` 방식으로 생성할 수 있습니다.



3. 인덱스와 칼럼 - 인덱스 : 데이터 프레임이나 시리즈의 각 행에 대한 레이블 역할을 합니다.

설정할 수 있으며, 기본적으로 정수 인덱스가 사용됩니다.

중복된 인덱스도 허용됩니다.

- 칼럼 : 각 열에 대한 이름으로, DataFrame의 데이터에 의미를 부여합니다.

칼럼도 다른 데이터 타입을 가질 수 있습니다.



4. 데이터 조작 - Pandas는 데이터 필터링, 정렬, 집계, 결측값 처리, 데이터 변형 등의 다양한 기능을 제공합니다.

- 메서드 체이닝을 통해 여러 작업을 연속적으로 수행할 수 있어 코드의 가독성이 높아집니다.



5. 결측치 처리 - 결측치는 데이터 분석에서 중요한 요소입니다.

Pandas는 결측치 탐지 및 대체, 삭제 등을 위한 메서드를 제공합니다 (`isna()`, `dropna()`, `fillna()` 등).

6. 다양한 파일 포맷 지원 - Pandas는 CSV, 엑셀, JSON, HTML, SQL 데이터베이스 등 다양한 데이터 형식을 읽고 쓸 수 있는 기능을 갖추고 있습니다.

사용 예시 ```python import pandas as pd 데이터를 생성하여 DataFrame 만들기 data = { 'Name': ['Alice', 'Bob', 'Charlie'], 'Age': [25, 30, 35], 'Salary': [50000, 60000, 70000] } df = pd.DataFrame(data) 데이터 확인 print(df) 특정 열 접근 print(df['Name']) 결측치 처리 df.fillna(0, inplace=True) ``` Pandas는 데이터 분석의 편리성을 크게 높여주며, 이들 데이터 형식을 이해하고 활용하는 것은 데이터 과학이나 데이터 분석 분야에서 필수적입니다.