천문 데이터 분석을 위한 Hadoop 날짜 함수 마스터하기 (Hadoop Hive)

소개

2285 년, 인류는 화성 궤도에 번성하는 우주 정거장을 건설했습니다. 이 연구 시설은 화성 관측소 (Martian Observatory) 로 알려져 있으며, 과학 탐구와 발견의 중심지 역할을 합니다. 이곳에 주둔한 많은 과학자 중에는 천문 관측 전문 데이터 분석가인 엠마 윌킨스 박사가 있습니다.

윌킨스 박사는 정거장 내 다양한 망원경과 기기로부터 수집된 방대한 양의 데이터를 분석하는 임무를 맡았습니다. 그러나 데이터는 원시 형식으로 되어 있으며, 의미 있는 통찰력을 추출하기 위해 이를 처리하고 조작해야 합니다. 그녀가 직면한 중요한 과제 중 하나는 날짜 및 시간 정보를 다루는 것입니다. 많은 관측이 시간에 민감하며 정확한 날짜 계산이 필요하기 때문입니다.

이러한 과제를 해결하기 위해 윌킨스 박사는 빅 데이터 처리를 위해 설계된 데이터 웨어하우징 솔루션인 Hadoop Hive 에서 제공하는 강력한 날짜 연산 함수를 활용해야 합니다. 이러한 함수를 숙달함으로써 그녀는 날짜 및 시간 데이터를 효율적으로 조작하고 분석하여 천문학 분야에서 획기적인 발견으로 이어질 수 있는 패턴, 추세 및 이상 현상을 밝혀낼 수 있습니다.

Hive 환경 설정

이 단계에서는 Hive 환경을 설정하고 날짜 연산 함수를 연습하기 위한 샘플 데이터 세트를 생성합니다.

먼저, 터미널에서 다음 명령을 실행하여 hadoop 사용자로 전환합니다.

su - hadoop

이제 다음 명령을 실행하여 Hive 셸을 시작합니다.

hive

다음 스키마를 사용하여 observations라는 새 Hive 테이블을 생성합니다.

CREATE TABLE observations (
    observation_id INT,
    telescope STRING,
    observation_date STRING,
    observation_time STRING
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

observations 테이블에 샘플 데이터를 로드합니다.

LOAD DATA LOCAL INPATH '/home/hadoop/resources/observations.csv' OVERWRITE INTO TABLE observations;

observations.csv 파일에는 observation_id, telescope, observation_date (형식 yyyy-MM-dd), observation_time (형식 HH:mm:ss) 열이 있는 샘플 관측 데이터가 포함되어 있습니다.

year() 함수 사용

이 단계에서는 Hive 에서 year() 함수를 사용하여 날짜 문자열에서 연도를 추출하는 방법을 배웁니다.

year() 함수는 날짜 또는 타임스탬프 문자열을 입력으로 받아 연도 구성 요소를 정수 값으로 반환합니다.

터미널에서 hive 명령을 실행하여 Hive 콘솔을 엽니다.
observation_date 열에서 연도를 추출하기 위해 다음 쿼리를 실행합니다.

SELECT observation_id, year(observation_date) AS observation_year
FROM observations;

이 쿼리는 테이블의 각 관측에 대한 observation_id와 해당 연도를 반환합니다.

다른 날짜 함수 또는 절과 함께 year() 함수를 사용할 수도 있습니다. 예를 들어, 특정 연도의 관측을 필터링하려면 다음 쿼리를 사용할 수 있습니다.

SELECT *
FROM observations
WHERE year(observation_date) = 2022;

이 쿼리는 observation_date의 연도 구성 요소가 2022 인 모든 관측을 반환합니다.

datediff() 함수 사용법

이 단계에서는 Hive 에서 datediff() 함수를 사용하여 두 날짜 간의 차이를 계산하는 방법을 배웁니다.

datediff() 함수는 두 개의 날짜 또는 타임스탬프 문자열을 입력으로 받아 두 날짜 사이의 일수를 반환합니다.

Hive 콘솔이 아직 열려 있지 않은 경우 엽니다.
두 관측 날짜 사이의 일수를 계산하기 위해 다음 쿼리를 실행합니다.

SELECT observation_id,
       observation_date,
       '2022-12-31' AS reference_date,
       datediff('2022-12-31', observation_date) AS days_until_end_of_year
FROM observations;

이 쿼리는 observation_id, observation_date, 기준 날짜 (2022-12-31) 및 observation_date와 기준 날짜 사이의 일수 (days_until_end_of_year) 를 반환합니다.

다른 날짜 함수 또는 절과 함께 datediff() 함수를 사용할 수도 있습니다. 예를 들어, 특정 날짜 범위 내의 관측을 필터링하려면 다음 쿼리를 사용할 수 있습니다.

SELECT *
FROM observations
WHERE datediff(observation_date, '2022-01-01') BETWEEN 0 AND 180;

이 쿼리는 observation_date가 2022 년 1 월 1 일부터 2022 년 6 월 30 일 (포함) 사이인 모든 관측을 반환합니다.

date_format() 함수 사용 방법

이 단계에서는 Hive 에서 date_format() 함수를 사용하여 날짜 문자열을 한 형식에서 다른 형식으로 변환하는 방법을 배웁니다.

date_format() 함수는 두 개의 인수를 받습니다: 날짜 또는 타임스탬프 문자열과 형식 패턴입니다. 지정된 형식 패턴으로 날짜 또는 타임스탬프 문자열을 반환합니다.

Hive 콘솔이 아직 열려 있지 않은 경우 엽니다.
observation_date 열을 yyyy-MM-dd 형식에서 MMM dd, yyyy 형식으로 변환하기 위해 다음 쿼리를 실행합니다.

SELECT observation_id,
       observation_date,
       date_format(observation_date, 'MMM dd, yyyy') AS formatted_date
FROM observations;

이 쿼리는 observation_id, 원래의 observation_date, 그리고 MMM dd, yyyy 형식 (formatted_date) 으로 형식화된 날짜 (예: Jun 15, 2022) 를 반환합니다.

다른 날짜 함수 또는 절과 함께 date_format() 함수를 사용할 수도 있습니다. 예를 들어, 특정 날짜 형식을 기반으로 관측을 필터링하려면 다음 쿼리를 사용할 수 있습니다.

SELECT *
FROM observations
WHERE date_format(observation_date, 'yyyy/MM/dd') = '2022/06/15';

이 쿼리는 observation_date가 yyyy/MM/dd 형식으로 형식화되었을 때 2022/06/15와 같은 모든 관측을 반환합니다.

add_months() 함수 사용법

이 단계에서는 Hive 에서 add_months() 함수를 사용하여 날짜에 개월 수를 더하거나 빼는 방법을 배웁니다.

add_months() 함수는 두 개의 인수를 받습니다: 날짜 또는 타임스탬프 문자열과 더하거나 뺄 개월 수를 나타내는 정수 값입니다.

Hive 콘솔이 아직 열려 있지 않은 경우 엽니다.
observation_date 열에 6 개월을 더하기 위해 다음 쿼리를 실행합니다.

SELECT observation_id,
       observation_date,
       add_months(observation_date, 6) AS date_plus_six_months
FROM observations;

이 쿼리는 observation_id, 원래의 observation_date, 그리고 observation_date 이후 6 개월이 지난 날짜 (date_plus_six_months) 를 반환합니다.

다른 날짜 함수 또는 절과 함께 add_months() 함수를 사용할 수도 있습니다. 예를 들어, 특정 월 범위 내의 관측을 필터링하려면 다음 쿼리를 사용할 수 있습니다.

SELECT *
FROM observations
WHERE month(add_months(observation_date, 6)) BETWEEN 1 AND 6;

이 쿼리는 observation_date 이후 6 개월이 지난 날짜의 월 구성 요소가 1 월부터 6 월 (포함) 사이인 모든 관측을 반환합니다.

요약

이 랩에서는 빅 데이터 처리를 위한 강력한 데이터 웨어하우징 솔루션인 Hadoop Hive 에서 날짜 연산 함수의 세계를 탐구했습니다. 화성을 공전하는 미래형 우주 정거장을 배경으로 한 매혹적인 시나리오를 통해 천문 관측을 분석하는 임무를 맡은 뛰어난 데이터 분석가인 닥터 에마 윌킨스의 여정을 따라갔습니다.

year(), datediff(), date_format(), 그리고 add_months()와 같은 날짜 연산 함수를 마스터함으로써 닥터 윌킨스는 날짜 및 시간 데이터를 효율적으로 조작하고 분석하는 능력을 얻었으며, 이를 통해 천문학 분야에서 획기적인 발견으로 이어질 수 있는 패턴, 추세 및 이상 현상을 밝혀낼 수 있었습니다.

랩 전체에서 실습 예제를 자세히 살펴보고 원활한 학습 경험을 보장하기 위해 검사기를 제공했습니다. 랩의 상호 작용적인 특성은 학습자가 이러한 필수 함수에 대한 이해를 연습하고 강화할 수 있도록 하여 보다 진보된 데이터 분석 기술을 위한 견고한 기반을 마련했습니다.

전반적으로 이 랩은 귀중한 기술적 기술을 전달했을 뿐만 아니라 광대한 우주에 대한 경이로움과 호기심을 키웠습니다. 천문 데이터 내에 숨겨진 비밀을 풀 수 있는 도구를 학습자에게 제공함으로써 우리는 미래 세대의 과학자들이 인간 지식과 탐험의 경계를 넓힐 수 있는 길을 열었습니다.

천문학자를 위한 Hadoop 날짜 마스터리

소개

Hive 환경 설정

year() 함수 사용

datediff() 함수 사용법

date_format() 함수 사용 방법

add_months() 함수 사용법

요약