Apache Impala + Kudu Query

 

💡 Impala는 주로 분석 쿼리를 위해 설계되어 대량의 데이터에 대해 쿼리 실행과 결과 반환이 빠릅니다. 따라서, 데이터를 업데이트, 삭제하는 기능은 기본적으로 제공하지 않습니다.

그러나 Kudu와 Impala는 밀접하게 통합되어, 데이터를 삽입, 업데이트, 삭제가 가능하다.

Kudu는 대용량 데이터를 처리하기 위해 설계된 스토리지 엔진 빠른 쿼리 성능과 데이터 무결성을 보장한다. 또한 독립적인 데이터 베이스로 사용이 가능하다.

Kudu 독립적인 데이터베이스 사용

Impala Table Create Insert

Update, Delete는 불가능하다.

CREATE TABLE foo1 (
 id INT primary key,
 col1 STRING, 
 col2 STRING
);

INSERT INTO foo1 VALUES (1, "Michoba", "Alice");

Impala + Kudu Table Create Upsert Insert Delete Update

Create

CREATE TABLE emp
(
 id INT,
 name STRING,
 dept STRING,
 resign timestamp,
 PRIMARY KEY (id, name)
)
STORED AS KUDU;

CREATE TABLE emp_dst
(
 id INT,
 name STRING,
 dept STRING,
 resign timestamp,
 PRIMARY KEY (id, name)
)
STORED AS KUDU;

Insert

insert into emp (id, name, dept, resign) values (1, 'Phil', 'Resources', '2023-12-12');
insert into emp (id, name, dept, resign) values (2, 'John', 'Dev', '2023-10-28');
insert into emp (id, name, dept, resign) values (3, 'Corny', 'Dev', '2022-01-12');
insert into emp (id, name, dept, resign) values (4, 'Henka', 'Training', '2022-05-19');
insert into emp (id, name, dept, resign) values (5, 'Kar', 'Management', '2022-03-16');
insert into emp (id, name, dept, resign) values (6, 'Locy', 'Resources', '2023-11-17');
insert into emp (id, name, dept, resign) values (7, 'Domenico', 'Sales', '2022-11-24');
insert into emp (id, name, dept, resign) values (8, 'Marie', 'Dev', '2024-01-10');
insert into emp (id, name, dept, resign) values (9, 'Jordan', 'Training', '2022-08-21');
insert into emp (id, name, dept, resign) values (10, 'Bette', 'Dev', '2022-07-15');

insert into emp_dst (id, name, dept, resign) values (1, 'Phil', 'Dev', '2023-12-12');
insert into emp_dst (id, name, dept, resign) values (2, 'John', 'Dev', '2023-10-28');
insert into emp_dst (id, name, dept, resign) values (3, 'Corny', 'Dev', '2022-01-12');
insert into emp_dst (id, name, dept, resign) values (4, 'Henka', 'Dev', '2022-05-19');
insert into emp_dst (id, name, dept, resign) values (5, 'Kar', 'Dev', '2022-03-16');

Upsert

UPSERT INTO emp
SELECT * FROM emp_dst
WHERE id < 3;

Delete

DELETE from emp
where id < 2;

DELETE from emp_dst
where dept = 'Dev';

Update / Join

UPDATE emp
SET emp.dept = CONCAT(B.name,'★')
FROM emp
JOIN emp_dst as B ON qkdwngus.id = B.id;

Upsert 해도 데이터 변화 없는 현상 - Upsert Error

💡JDBC를 이용한 Upsert 시 테이블 데이터의 변화가 일어나지 않는 현상을 확인했고 2가지 해결 방법이 있다.

1. Connection URL에 UseNativeQuery=1 추가

 - JAVA Connection URL : "jdbc:impala://<<hostname>>:21050;UseNativeQuery=1"

 - DB Tool

 

2. kudu-impala bash shell직접 쿼리

//docker 접속 이름 찾기
$ docker ps 
//접속
$ docker exec -it kudu-impala bash

> CREATE TABLE foo1 (
>  id INT primary key,
>  col1 STRING, 
>  col2 STRING
> )
> PARTITION BY HASH(id) PARTITIONS 3 
> STORED AS KUDU;

> CREATE TABLE foo2 (
>  id INT primary key,
>  col1 STRING, 
>  col2 STRING
> )
> PARTITION BY HASH(id) PARTITIONS 3 
> STORED AS KUDU;

> INSERT INTO foo1 VALUES (1, "Michoba", "alice");
> INSERT INTO foo2 select id, col1, NULL from foo1;

> select * from foo2;
+----+---------+------+
| id | col1    | col2 |
+----+---------+------+
| 1  | Michoba | null |
+----+---------+------+

> UPSERT INTO foo2 (id, col2) select id, col2 from foo1;

> select * from foo2;
+----+---------+-------+
| id | col1    | col2  |
+----+---------+-------+
| 1  | Michoba | alice |
+----+---------+-------+

1.