首页 > 代码库 > sqoop2 1.99.6 中遇到问题及源码修改汇总
sqoop2 1.99.6 中遇到问题及源码修改汇总
1.当PartitionColumn的基数为1(如下图)时。则会报错
报错如下图
源代码如下
\sqoop-1.99.6-bin-hadoop200\connector\connector-generic-jdbc\src\main\java\org\apache\sqoop\connector\jdbc\GenericJdbcPartitioner.java
将源代码 改为
即可
2.Job中 参数 Null value allowed for the partition column: false 时 即使partition column 有null也不会报错,还是将为null的记录导入到HDFS中去了。
结论:不是问题,当该参数为false时,不会起pid is null 的map去导,为true时才会,所以不报错是正确的。
3.日期时间的问题,具体修改方式如下图
E:\IdeaProject\sqoop-1.99.6-bin-hadoop200\connector\connector-generic-jdbc\src\main\java\org\apache\sqoop\connector\jdbc\GenericJdbcExtractor.java
4.oracle 中 时间类型做 pid时会报错
if(JDBC_DRIVER_ORACLE.equals(jdbcDriver)){
//如果是oracle则做特殊处理
conditions.append("to_timestamp(\‘").append(sdf.format((java.util.Date)lowerBound)).append("\‘,‘yyyy-mm-dd hh24:mi:ss.ff‘)");
conditions.append(" <= ");
conditions.append(partitionColumnName);
conditions.append(" AND ");
conditions.append(partitionColumnName);
conditions.append(lastOne ? " <= " : " < ");
conditions.append("to_timestamp(\‘").append(sdf.format((java.util.Date)upperBound)).append("\‘,‘yyyy-mm-dd hh24:mi:ss.ff‘)");
}else{
conditions.append(‘\‘‘).append(sdf.format((java.util.Date)lowerBound)).append(‘\‘‘);
conditions.append(" <= ");
conditions.append(partitionColumnName);
conditions.append(" AND ");
conditions.append(partitionColumnName);
conditions.append(lastOne ? " <= " : " < ");
conditions.append(‘\‘‘).append(sdf.format((java.util.Date)upperBound)).append(‘\‘‘);
}
return conditions.toString();
如果是oracle 则做特殊判断。
5.当用时间作为pid时,如果时间时公元1000年以前会报错
修复方法:
--1:
/**
* 格式化公元1000年之前的时间字符串
* @param str
* @return
*/
protected String formatTime(String str) {
if(str.indexOf("-") == -1){
return str;
}else{
return String.format("%04d", NumberUtils.createInteger(str.split("-")[0])).concat(str.substring(str.indexOf("-")));
}
}
--2:
switch(partitionColumnType) {
case Types.DATE:
sdf = new SimpleDateFormat("yyyy-MM-dd");
minDateValue = Date.valueOf(formatTime(partitionMinValue)).getTime();
maxDateValue = Date.valueOf(formatTime(partitionMaxValue)).getTime();
break;
case Types.TIME:
sdf = new SimpleDateFormat("HH:mm:ss");
minDateValue = Time.valueOf(partitionMinValue).getTime();
maxDateValue = Time.valueOf(partitionMaxValue).getTime();
break;
case Types.TIMESTAMP:
sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss.SSS");
minDateValue = Timestamp.valueOf(formatTime(partitionMinValue)).getTime();
maxDateValue = Timestamp.valueOf(formatTime(partitionMaxValue)).getTime();
break;
}
sqoop2 1.99.6 中遇到问题及源码修改汇总