insert data from oracle to postgresql 질문드립니다 0 1 2,087

by achter [DB 기타] oracle postgresql [2021.06.24 15:19:46]


안녕하세요.
업무중에 큰 어려움을 느껴 이곳에 질문을 남기게 되었습니다.

제목처럼 oracle의 데이터를 postgres의 테이블로 insert하고자합니다.

일단 각 db는 각각 다른 vm에 구축되어있으며, ipsec vpn으로 통신하고 있습니다.

그리고 pentaho라는 ETL툴로 Oracle에서 postgres로 데이터를 넘기는 중인데요.

속도가 많이 느린 것 같아 문제입니다.

현재 insert하는 데이터 용량에 관계 없이 초당 8kb정도의 데이터가 oracle에서 postgres로 적재되는 중입니다.

ipsec vpn네트워크의 문제인가 싶어 ftp로 파일전송을 테스트해보니 초당 10mb정도의 속도가 나와서 네트워크는 큰 문제가 아닌 것으로 판단하고 있습니다.

postgres 설정을 바꿔보면 좀 속도가 나올까 싶어서 postgresql.conf를 수정해서 나름 최적화를 해보았지만 결과는 동일했습니다.

혹시 이종 데이터베이스간의 데이터 insert작업할 때 팁이 있을까요?
사용하면 좋은 툴이라던가 설정파일 수정 등등 어느 것도 좋습니다.

제가 아직 주니어라 모르는 점이 많아서 놓치는 부분이 있는 것 같습니다.
선배님들의 자유로운 의견 부탁드리겠습니다.

감사합니다.

by 우리집아찌 [2021.06.25 11:06:40]

1. ftp가 빠르다면 sam파일 처럼 생성해서 파일을 옮긴후 postgresql 로 적재(툴) 하는 방법이 있을겁니다

2. postgressql 에 dblink등이 있으면 sql을 이용해서 적재할수 있습니다

1번은 테이블 구조가 동일해야 편할것 같네요

댓글등록
SQL문을 포맷에 맞게(깔끔하게) 등록하려면 code() 버튼을 클릭하여 작성 하시면 됩니다.
로그인 사용자만 댓글을 작성 할 수 있습니다. 로그인, 회원가입