HIVE

Hive Create Update Delete Select Table

하이브 서버에서 테이블 생성 $ docker exec -it [하이브서버] bash # 하이브 실행 # hive # 테이블 생성 hive> CREATE TABLE if not exists default.person( > pid INT, > name STRING, > language STRING, > gender STRING > ) > CLUSTERED BY (pid) into 1 BUCKETS > STORED AS ORC > LOCATION 'hdfs://[네임노드 이름]:[포트]/[폴더명]' > TBLPROPERTIES('transactional'='true'); OK Time taken: 1.378 seconds CLUSTERED BY (pid) into 1 BUCKETS 테이블은 pid라는 열을 기..

Hive Create External Table

💡 외부 파일 이용 테이블을 생성 및 데이터를 삽입 $ : docker 명령어 사용 # : hdfs, hive 명령어 사용(주석과 혼동X) 네임 노드 접속 # 도커에서 namenode 이름 찾기 # 추후 Hive Server 이름도 필요하니 찾아놓자 $ docker ps # namenode 접속 $ docker exec -it [네임노드명] bash 네임 노드에 폴더 만들기 # hdfs dfs -mkdir /[폴더명] 생성된 폴더는 http://IP:Port/explorer.html#/ 확인 가능 JSON 파일 SFTP 전송 테스트 JSON 데이터 작성한 파일 생성 // 공백, 개행 제거 {"1":{"full_name":"Hayward Yuille","language":"Swahili","gender":..

Hive JDBC 연결

Hive JDBC https://github.com/timveil/hive-jdbc-uber-jar/releases Releases · timveil/hive-jdbc-uber-jar Hive JDBC "uber" or "standalone" jar based on the latest Apache Hive version - timveil/hive-jdbc-uber-jar github.com Hive JDBC 연결 확인 import java.sql.*; public class test { private static String driverName = "org.apache.hive.jdbc.HiveDriver"; public static void main(String[] args) { try { Class...