更新处理
oracle使用dblink+透明网关连接其他数据库,mysql、sqlserver、oracle,然后用sql、plsql更新数据;或者使用etl工具实现更新。
hive使用sqoop连接mysql、sqlserver、oracle实现数据更新。
oracle
oracle数据加载命令
批量sql脚本上传至服务器,稍后使用sqlplus进行处理。
sqlplus显示sql语句执行时间
set timing on; -- 这个是逐条显示执行时间,对于大批量执行的sql不适用。
spool imp-t_od_bd_material-20240408.log
select to_char(sysdate,'yyyy-mm-dd hh24:mi:ss') begin_time from dual;
批量sql
select to_char(sysdate,'yyyy-mm-dd hh24:mi:ss') end_time from dual;
spool off
hive
hive数据加载命令
sqoop codegen \
--connect jdbc:oracle:thin:@//ip:port/orcl \
--username test \
--password test \
--table TEST.T_OD_IC_FLOW \
--bindir /opt/hive/lib
sqoop import \
--connect jdbc:oracle:thin:@//ip:port/orcl \
--username test \
--password test \
--table TEST.T_OD_IC_FLOW \
--hive-import \
--hive-database testhivedb \
--hive-table HT_OD_IC_FLOW \
--hive-overwrite \
-m 1