首页 > 代码库 > 利用EntityFramework获得双色球数据库

利用EntityFramework获得双色球数据库

原文 利用EntityFramework获得双色球数据库

双色球想必大家都很熟悉了,尽管屡买屡不中,但还是会买。以前就想过利用双色球的走势图得到双色球的数据库,至于得到数据库干什么倒没想过,不过对以往号码有没有重复出现还是挺好奇的。最近写Entity Framework的博客,所以这篇文章的标题里就出现了Entity Framework的身影,其实Entity Framework在下面的程序里只占据了很少的一部分。

下面开始介绍我获取数据库的方法。

双色球的走势图网址:http://zx.caipiao.163.com/trend/ssq_basic.html

打开之后,如下图所示,默认显示的是最近30期的:

技术分享

根据期号进行查询,可以得到如下的链接:

http://zx.caipiao.163.com/trend/ssq_basic.html?beginPeriod=2012110&endPeriod=2012139&historyPeriod=2012140&year=

很容易可以发现beginPeriod表示的是开始期号,endPeriod表示的截止期号。有了这两个参数,就可以得到任意期号的数据了。根据上述方法查询,得到网易彩票提供的最早数据是2004009期。

下面分析走势图的html结构。

谷歌浏览器中,按Ctrl+Shift+i 或Firefox中使用Firebug可查看html的结构。

下图是走势图的html结构,可以看到图表数据在id为chartsTable的表格里。进一步查看,真正有用的数据是在<tbody></tbody>标签中。

技术分享

下面给出获取<tbody></tbody>之间内容的代码:

   1:          /// <summary>
   2:          /// 获取网页的双色球数据
   3:          /// </summary>
   4:          /// <param name="startQH">开始期号</param>
   5:          /// <param name="endQH">截止期号</param>
   6:          /// <returns></returns>
   7:          private string GetOriginData(string startQH, string endQH)
   8:          {
   9:              string path = string.Format("http://zx.caipiao.163.com/trend/ssq_basic.html?beginPeriod={0}&endPeriod={1}", startQH, endQH);
  10:              WebRequest wp = WebRequest.Create(path);
  11:              Stream s = wp.GetResponse().GetResponseStream();
  12:              StreamReader sr = new StreamReader(s);
  13:              string content = sr.ReadToEnd();
  14:              sr.Close();
  15:              s.Close();
  16:              int startIndex = content.IndexOf("<tbody id=\"cpdata\">");
  17:              int endIndex = content.IndexOf("</tbody>");
  18:              content = content.Substring(startIndex, endIndex - startIndex).Replace("<tr class=\"bg_doe\" >", "<tr>").Replace("<tr >", "<tr>").Replace("\r\n", "");
  19:              return content;
  20:          }

<tbody></tbody>中的内容就是<tr></tr>和<td></td>了,下面给出解析<tr>和<td>的代码,有注释,就不多解释了。

   1:          /// <summary>
   2:          /// 循环解析Tr
   3:          /// </summary>
   4:          /// <param name="wnRepo"></param>
   5:          /// <param name="content"><tbody></tbody>之间的内容</param>
   6:          private void ResolveTr(IRepository<WinNo> wnRepo, string content)
   7:          {
   8:              string trContent = string.Empty;
   9:              WinNo wn = null;
  10:              Regex regex = new Regex("<tr>");
  11:              //在<tbody></tbody>之间的内容搜索所有匹配<tr>的项
  12:              MatchCollection matches = regex.Matches(content);
  13:              foreach (Match item in matches)
  14:              {
  15:                  wn = new WinNo();
  16:                  //如果当前匹配项的下一个匹配项的值不为空
  17:                  if (!string.IsNullOrEmpty(item.NextMatch().Value))
  18:                  {
  19:                      trContent = content.Substring(item.Index, item.NextMatch().Index - item.Index);
  20:                  }
  21:                  //最后一个<tr>的匹配项
  22:                  else
  23:                  {
  24:                      trContent = content.Substring(item.Index, content.Length - item.Index);
  25:                  }
  26:                  ResolveTd(wn, trContent);
  27:                  wnRepo.Insert(wn);
  28:              }
  29:          }
  30:          /// <summary>
  31:          /// 在一个TR中,解析TD,获取一期的号码
  32:          /// </summary>
  33:          /// <param name="wn"></param>
  34:          /// <param name="trContent"></param>
  35:          private void ResolveTd(WinNo wn, string trContent)
  36:          {
  37:              //匹配期号的表达式
  38:              string patternQiHao = "<td align=\"center\" title=\"开奖日期";
  39:              Regex regex = new Regex(patternQiHao);
  40:              Match qhMatch = regex.Match(trContent);
  41:              wn.QiHao = trContent.Substring(qhMatch.Index + 17 + patternQiHao.Length, 7);
  42:              //匹配蓝球的表达式
  43:              string patternChartBall02 = "<td class=\"chartBall02\">";
  44:              regex = new Regex(patternChartBall02);
  45:              Match bMatch = regex.Match(trContent);
  46:              wn.B = Convert.ToInt32(trContent.Substring(bMatch.Index + patternChartBall02.Length, 2));
  47:              //存放匹配出来的红球号码
  48:              redBoxList = new List<int>();
  49:              //匹配红球的表达式
  50:              string patternChartBall01 = "<td class=\"chartBall01\">";
  51:              regex = new Regex(patternChartBall01);
  52:              MatchCollection rMatches = regex.Matches(trContent);
  53:              foreach (Match r in rMatches)
  54:              {
  55:                  redBoxList.Add(Convert.ToInt32(trContent.Substring(r.Index + patternChartBall01.Length, 2)));
  56:              }
  57:              //匹配红球的表达式
  58:              string patternChartBall07 = "<td class=\"chartBall07\">";
  59:              regex = new Regex(patternChartBall07);
  60:              rMatches = regex.Matches(trContent);
  61:              foreach (Match r in rMatches)
  62:              {
  63:                  redBoxList.Add(Convert.ToInt32(trContent.Substring(r.Index + patternChartBall07.Length, 2)));
  64:              }
  65:              //排序红球号码
  66:              redBoxList.Sort();
  67:              //第一个红球号码
  68:              wn.R1 = redBoxList[0];
  69:              //第二个红球号码
  70:              wn.R2 = redBoxList[1];
  71:              wn.R3 = redBoxList[2];
  72:              wn.R4 = redBoxList[3];
  73:              wn.R5 = redBoxList[4];
  74:              wn.R6 = redBoxList[5];
  75:          }

下面给出使用到Entity Framework部分的代码:

首先,新建一个WinNo实体,用于表示双色球信息:

   1:      public class WinNo
   2:      {
   3:          /// <summary>
   4:          /// 主键
   5:          /// </summary>
   6:          public int ID { get; set; }
   7:          /// <summary>
   8:          /// 期号
   9:          /// </summary>
  10:          public string QiHao { get; set; }
  11:   
  12:          /// <summary>
  13:          /// 第一个红球号码
  14:          /// </summary>
  15:          public int R1 { get; set; }
  16:          /// <summary>
  17:          /// 第二个红球号码
  18:          /// </summary>
  19:          public int R2 { get; set; }
  20:          /// <summary>
  21:          /// 第三个红球号码
  22:          /// </summary>
  23:          public int R3 { get; set; }
  24:          /// <summary>
  25:          /// 第四个红球号码
  26:          /// </summary>
  27:          public int R4 { get; set; }
  28:          /// <summary>
  29:          /// 第五个红球号码
  30:          /// </summary>
  31:          public int R5 { get; set; }
  32:          /// <summary>
  33:          /// 第六个红球号码
  34:          /// </summary>
  35:          public int R6 { get; set; }
  36:          /// <summary>
  37:          /// 篮球号码
  38:          /// </summary>
  39:          public int B { get; set; }
  40:      }

其次,使用默认配置即可。

第三,新建一个上下文:SSQContext,代码如下:

   1:      public class SSQContext : DbContext
   2:      {
   3:          public SSQContext()
   4:          {
   5:              //Database.SetInitializer(new DropCreateDatabaseAlways<SSQContext>());
   6:              Database.SetInitializer<SSQContext>(null);
   7:          }
   8:   
   9:          public DbSet<WinNo> WinNos { get; set; }
  10:   
  11:          protected override void OnModelCreating(DbModelBuilder modelBuilder)
  12:          {
  13:              modelBuilder.Conventions.Remove<PluralizingTableNameConvention>();
  14:              base.OnModelCreating(modelBuilder);
  15:          }
  16:      }

第四,运行程序,结果如下图所示:

技术分享

利用EntityFramework获得双色球数据库