Hive JDBC 연결

Hive JDBC

https://github.com/timveil/hive-jdbc-uber-jar/releases

Releases · timveil/hive-jdbc-uber-jar

Hive JDBC 연결 확인

import java.sql.*;

public class test {
 private static String driverName = "org.apache.hive.jdbc.HiveDriver";
 public static void main(String[] args) {
  try {
   Class.forName(driverName);
  }catch(ClassNotFoundException e) {
   e.printStackTrace();
   System.exit(1);
  }

  try {
	  Connection con = DriverManager.getConnection("jdbc:hive2://ip:port/default", "userId", "password");
	  Statement stmt = con.createStatement();  
	  String sql = "select * from person";
    ResultSet res = stmt.executeQuery(sql);

    while (res.next()) {
     System.out.printf("%d %s\\n", res.getInt(1), res.getString(2));
    }
  }catch(SQLException e) {
   e.printStackTrace();
   System.exit(1);
  }
 }
}

 

💡 대규모 데이터 분석을 가능하게 하는 분산형, 내결함성이 있는 데이터 웨어하우스 시스템입니다. Hadoop 위에 구축되어 있으며, S3, adls, gs 등을 포함한 다양한 저장소에 대한 지원을 제공합니다. Hive는 SQL을 사용하여 사용자가 페타바이트 규모의 데이터를 읽고, 쓰고, 관리할 수 있게 합니다.

1. SQL 인터페이스
Hive는 HiveQL이라는 SQL과 유사한 인터페이스를 제공하여, 사용자가 대규모 데이터를 쿼리하고 분석할 수 있게 합니다 .
2. 메타스토어
Hive Metastore (HMS)는 메타데이터를 중앙에서 관리하는 저장소입니다. 이는 데이터 기반의 의사 결정을 내리는 데 도움이 되며, 많은 데이터 레이크 아키텍처의 중요한 구성 요소입니다
3. 배치 처리
Hive는 배치 처리를 사용하여 대규모 분산 데이터베이스에서 빠르게 작동합니다. Hive는 HiveQL 쿼리를 MapReduce 또는 Tez 작업으로 변환하여 Apache Hadoop의 분산 작업 스케줄링 프레임워크인 YARN에서 실행합니다.
4. Hadoop 통합
Hive는 Hadoop 위에 작동하며, Apache Tez 또는 MapReduce를 처리에, HDFS 또는 Amazon S3를 저장소에 사용합니다 .

대규모 데이터 분석에 적합하며, 빅 데이터를 처리하는 기업들 사이에서 널리 사용되고 있습니다.