Hive Create External Table

💡 외부 파일 이용 테이블을 생성 및 데이터를 삽입
$ : docker 명령어 사용
# : hdfs, hive 명령어 사용(주석과 혼동X)

네임 노드 접속

# 도커에서 namenode 이름 찾기
# 추후  Hive Server 이름도 필요하니 찾아놓자
$ docker ps

# namenode 접속
$ docker exec -it [네임노드명] bash

네임 노드에 폴더 만들기

# hdfs dfs -mkdir /[폴더명]

생성된 폴더는 http://IP:Port/explorer.html#/ 확인 가능

JSON 파일 SFTP 전송

테스트 JSON 데이터 작성한 파일 생성

// 공백, 개행 제거
{"1":{"full_name":"Hayward Yuille","language":"Swahili","gender":"Male"},
"2":{"full_name":"Lance Macer","language":"English","gender":"Male"},
"3":{"full_name":"Gabi Tiplady","language":"Haitian Creole","gender":"Female"},
"4":{"full_name":"Warner Drees","language":"Macedonian","gender":"Male"},
"5":{"full_name":"Lee Schiefersten","language":"Tajik","gender":"Male"},
"6":{"full_name":"Giavani Rittelmeyer","language":"Moldovan","gender":"Male"},
"7":{"full_name":"Torrie Clinkard","language":"Moldovan","gender":"Female"},
"8":{"full_name":"Mel Matkin","language":"Dutch","gender":"Female"},
"9":{"full_name":"Pamela Pitchford","language":"Czech","gender":"Female"},
"10":{"full_name":"Christiano Cardenosa","language":"Armenian","gender":"Male"}}

SFTP 전송 툴 이용 /home/[user]에 파일 전송

컨테이너 파일 전송

$ docker cp ./[파일명].json [네임노드명]:.

HDFS 파일 전송

# 네임 노드 접속
$ docker exec -it [네임노드명] bash

# hdfs dfs -put [파일명] /[폴더명]/

생성된 파일은 http://IP:Port/explorer.html#/[폴더명] 확인 가능

하이브 서버에서 테이블 생성

$ docker exec -it [하이브서버] bash

# 하이브 실행
# hive

# 테이블 생성
hive> create external table mock_table(
    > id struct<full_name:string,language:string,gender:string>
    > )
    > LOCATION 'hdfs://[네임노드 이름]:[포트]/[폴더명]';
OK
Time taken: 1.378 seconds

테이블 조회

hive> select * from mock_table;
OK
{"full_name":"{\\"1\\":{\\"full_name\\":\\"Hayward Yuille\\",\\"language\\":\\"Swahili\\",\\"gender\\":\\"Male\\"},","language":null,"gender":null}
{"full_name":"\\"2\\":{\\"full_name\\":\\"Lance Macer\\",\\"language\\":\\"English\\",\\"gender\\":\\"Male\\"},","language":null,"gender":null}
{"full_name":"\\"3\\":{\\"full_name\\":\\"Gabi Tiplady\\",\\"language\\":\\"Haitian Creole\\",\\"gender\\":\\"Female\\"},","language":null,"gender":null}
{"full_name":"\\"4\\":{\\"full_name\\":\\"Warner Drees\\",\\"language\\":\\"Macedonian\\",\\"gender\\":\\"Male\\"},","language":null,"gender":null}
{"full_name":"\\"5\\":{\\"full_name\\":\\"Lee Schiefersten\\",\\"language\\":\\"Tajik\\",\\"gender\\":\\"Male\\"},","language":null,"gender":null}
{"full_name":"\\"6\\":{\\"full_name\\":\\"Giavani Rittelmeyer\\",\\"language\\":\\"Moldovan\\",\\"gender\\":\\"Male\\"},","language":null,"gender":null}
{"full_name":"\\"7\\":{\\"full_name\\":\\"Torrie Clinkard\\",\\"language\\":\\"Moldovan\\",\\"gender\\":\\"Female\\"},","language":null,"gender":null}
{"full_name":"\\"8\\":{\\"full_name\\":\\"Mel Matkin\\",\\"language\\":\\"Dutch\\",\\"gender\\":\\"Female\\"},","language":null,"gender":null}
{"full_name":"\\"9\\":{\\"full_name\\":\\"Pamela Pitchford\\",\\"language\\":\\"Czech\\",\\"gender\\":\\"Female\\"},","language":null,"gender":null}
{"full_name":"\\"10\\":{\\"full_name\\":\\"Christiano Cardenosa\\",\\"language\\":\\"Armenian\\",\\"gender\\":\\"Male\\"}}","language":null,"gender":null}
Time taken: 1.392 seconds, Fetched: 10 row(s)

트러블 슈팅 - 데이터 NULL

아래 JAR 파일을 Hive의 lib 폴더에 넣기

Download dependencies for java class org.openx.data.jsonserde.JsonSerDe