背景

由于某种原因，我们系统需要记录另一个系统中一个表里的id。但是，当我们记录完了以后，别人系统可能会删除那个表里的一些数据，这样的话，我们这边就多了一些无效数据，所以，我们必须的找到这些无效的id，然后将其删除。

开始，我们的实现是这样：我们将记录下来的所有id放在一个list里，然后传到另一个系统，他将他们已经删除的id返回。具体处理代码如下：

<pre name="code" class="java">public String findDeletedStuChooseCourseIds(List<String> stuChooseCourseIds) {
	List<String> delIds = new ArrayList<String>();
	// 循环遍历所有给定id，查看是否存在
	for (String id : stuChooseCourseIds) {
		StuChooseCourse stuChooseCourse = commonEao.get(StuChooseCourse.class, id);
		if (null == stuChooseCourse) {
			delIds.add(id);
		}
	}
	return JsonUtils.toJson(delIds);
}

开始的时候，数据量比较小，并没有感觉到这个方法有什么问题。但是随着时间的推移，数据量不断增加，最终达到十几万条数据，问题也就随之而来了。这个方法的执行时间已经远远超出了我们的忍耐极限，竟然5分钟都没有执行完，这个必须得优化。

分析一下执行慢的原因，很明显，循环里的查找数据费了时间，每循环一次，都需要去数据库中查找一次，这样能快就见鬼了。所以，必须减少与数据库的交互。于是代码变成了如下版本：

<pre name="code" class="java">public String findDeletedStuChooseCourseIds(List<String> stuChooseCourseIds) {
	//获取所有stuchoosecourse的ids
	String  nativeSql = "select id from tableName ";
	List<String> list = commonEao.executeGetNativeSQL(nativeSql);
	
	stuChooseCourseIds.removeAll( list );
	
	return JsonUtils.toJson(stuChooseCourseIds);
}

这样的话，只需要跟数据库进行一次交互，而且使用的jdk的removeAll方法（一般jdk实现的方法，效率都还不错），效率应该会提高不少。于是，我满怀希望的进行测试，但结果还是让人难以接受，效率似乎并没有提高多少。

分析一下原因，肯定是stuChooseCourseIds.removeAll(list )浪费了时间，因为我们使用的list是arrayList，而arrayList在执行查找和删除操作时是比较费时间的。后来，我们换成了LinkedList，但结果还是一样。所以，我们必须换种思维方式了。于是，代码变成了如下版本：

<pre name="code" class="java">public String findDeletedStuChooseCourseIds(List<String> stuChooseCourseIds) {
	List<String> delIds = new ArrayList<String>();
	//获取所有stuchoosecourse的ids
	String  nativeSql = "select id from tableName ";
	List<String> list = commonEao.executeGetNativeSQL(nativeSql);
	//将list中的id放到HashSet中
	HashSet<String> dbSet = new HashSet<String>();
	for(String id : list){
		dbSet.add(id);
	}
	
	//将stuChooseCourseIds中的id放到dbSet中
	for(String givenId : stuChooseCourseIds){
		if(dbSet.add(givenId)){
			delIds.add(givenId);
		}
	}
	
	return JsonUtils.toJson(delIds);
}

这里使用HashSet来处理。首先，一旦用到Hash，查找效率定然会大幅度提升。其次，巧妙的利用了Set中元素不可重复的特性。这样一来，最终的执行效率提升了20多倍，原本五分钟都结束不了的方法，现在仅需要十几秒。这个结果还是让人比较满意的。

数据量小的时候，问题不明显，等数据量多了以后，问题出来了。这个问题也告诉我们，凡事都要用发展的眼光看问题。既然如此，那么让我们继续看最后一版的代码。

现在数据量是十几万，如果时间再向后推移，数据量变成百万，试想将百万的数据放在一个list里，暂且不说效率的问题，请问你的内存受得了吗？答案是肯定的，内存会被撑爆。那么，这个问题必须解决。于是，最终的版本如下：

<pre name="code" class="java">public String findDeletedStuChooseCourseIds(List<String> stuChooseCourseIds,String schoolCalendarId) {
	List<String> delIds = new ArrayList<String>();
	//获取所有stuchoosecourse的ids
	String  nativeSql = "select id from tableName where schoolcalendarid='"+schoolCalendarId+"'";
	List<String> list = commonEao.executeGetNativeSQL(nativeSql);
	//将list中的id放到HashSet中
	HashSet<String> dbSet = new HashSet<String>();
	for(String id : list){
		dbSet.add(id);
	}
	
	//将stuChooseCourseIds中的id放到dbSet中
	for(String givenId : stuChooseCourseIds){
		if(dbSet.add(givenId)){
			delIds.add(givenId);
		}
	}
	
	return JsonUtils.toJson(delIds);
}

方法又加了一个参数——学年学期，每一学期产生的数据基本上是不变的，这样一来，无论多久之后，方法的执行效率都不会再受影响。

通过这次的优化，让我真正感受到了数据结构的魅力。骚年，有时间好好学习一下数据结构吧！