首页 > 代码库 > Kinect V2程序设计(C++) Color篇

Kinect V2程序设计(C++) Color篇

2024-08-05 13:51:01   222人阅读

Kinect SDK v2预览版，获取数据的基本流程的说明。以及取得Color图像的示例程序的介绍。

上一节，是关于当前型号Kinect for Windows（后面称作Kinect v1）和次世代型的Kinect for Windows的开发者预览版(后面称作Kinect v2 预览版)的配置比较和介绍。
从这一节开始，是Kinect的各种数据的取得方法的比较和介绍。
 
Color Camera
Kinect和通常的Web摄像头一样，搭载了 Color Camera，可以取得Color图像。关于Camera，Kinect v1的分辨率是640×480，Kinect v2分辨率大幅提升到1920×1080。这次，要介绍从Color Camer取得图像的方法。
 
数据取得的流程
Kinect SDK v1和Kinect SDK v2预览版取得数据的基本流程。
这里表示的是最基础的流程，在Kinect SDK 在v2预览版里，有把多个「Source」「Reader」一齐处理的API，和这里介绍的数据获取的流程也会有差异。
图1是Kinect SDK v1和Kinect SDK v2预览版的数据取得流程
Kinect SDK v1，是从「Sensor」打开「Stream」，从「Stream」取得「Frame」，从「Frame」取得数据这样的流程。
到了Kinect SDK v2预览版，是从「Sensor」取得「Source」，从「Source」打开「Reader」，从「Reader」取得「Frame」，从「Frame」取得数据这样的流程。
 
  每个Kinect SDK v2预览版的「Source」，都有一个从Kinect取得Color和Depth的1个数据流，这点和Kinect SDK v1的「Stream」是一样的。
 
  Kinect SDK v2预览版，追加了「Reader」的阶段。「Reader」能打开1个「Source」多次。通过这个配置，多线程的应用上，不需要把取得的数据拷贝到其他线程处理。也有多个应用可以从同一个传感器取得数据的优点。
（注：因为Color Camera和Depth Camera是分离的，所以Color、Depth和Skeleton数据流也是各自独立的，API通过Event来通知App是否有数据更新。通常为了效率，对每一个数据流都使用单独的线程来等待Event，然后处理数据。在之前的v1中，Frame是独立的，取出后数据就被Drop掉了，所以想在Depth里读取Color之类的操作，必须使用内存拷贝，而多线程读写数据又会需要互斥锁，十分影响效率；还有一个办法是通过NuiSetFrameEndEvent，也就是c#接口中的AllFrameReady事件，但是这样等待所有数据不仅太局限而且效率很低。）
 
示例程序
  Kinect SDK v2预览版取得Color画像的示例程序的展示，图1展示的是数据取得阶段的摘录解说。这个示例程序的全部内容，在下面的github里公开了。
  • https://github.com/UnaNancyOwen/Kinect2Sample
这个示例程序为了处理图像数据，使用了OpenCV。OpenCV的详细内容可以参考下面的信息。
  • http://docs.opencv.org/
「Sensor」
取得「Sensor」
  1. // SensorIKinectSensor* pSensor;   ……1HRESULT hResult = S_OK;hResult = GetDefaultKinectSensor( &pSensor );  ……2if( FAILED( hResult ) ){  std::cerr << "Error : GetDefaultKinectSensor" << std::endl;  return -1;}hResult = pSensor->Open();  ……3if( FAILED( hResult ) ){  std::cerr << "Error : IKinectSensor::Open()" << std::endl;  return -1;}
    列表1.1 相当于图1「Sensor」的部分
    1 处理Kinect v2预览版的Sensor接口。
    2 取得默认的Sensor。
    3 打开Sensor。
 
「Source」
　从「Sensor」取得「Source」。
  1. // SourceIColorFrameSource* pColorSource;  ……1hResult = pSensor->get_ColorFrameSource( &pColorSource );  ……2if( FAILED( hResult ) ){  std::cerr << "Error : IKinectSensor::get_ColorFrameSource()" << std::endl;  return -1;}
    列表1.2 相当于图1「Source」的部分
    1 获取Color Frame的Source接口。
    2 从Sensor取得Source。
「Reader」
「Source」从打开「Reader」。
  1. // ReaderIColorFrameReader* pColorReader;  ……1hResult = pColorSource->OpenReader( &pColorReader );  ……2if( FAILED( hResult ) ){  std::cerr << "Error : IColorFrameSource::OpenReader()" << std::endl;  return -1;}
    列表1.3 相当于图1「Reader」的部分
    1 获取Color Frame的Reader接口。
    2 从Source打开Reader。
「Frame」～「Data」
从「Reader」取得最新的「Frame」。
  1. int width = 1920;   ……1int height = 1080;  ……1unsigned int bufferSize = width * height * 4 * sizeof( unsigned char );  ……2cv::Mat bufferMat( height， width， CV_8UC4 );  ……3cv::Mat colorMat( height / 2， width / 2， CV_8UC4 );  ……3cv::namedWindow( "Color" );while( 1 ){  // Frame  IColorFrame* pColorFrame=nullptr;  ……4  hResult=pColorReader->AcquireLatestFrame( &pColorFrame );  ……5  if( SUCCEEDED( hResult ) ){    hResult = pColorFrame->CopyConvertedFrameDataToArray( bufferSize， reinterpret_cast<BYTE*>( bufferMat.data )， ColorImageFormat_Bgra );  ……6    if( SUCCEEDED( hResult ) ){      cv::resize( bufferMat， colorMat， cv::Size()， 0.5， 0.5 );   ……7    }  }  SafeRelease( pColorFrame );  // Show Window  cv::imshow( "Color"， colorMat );  if( cv::waitKey( 30 ) == VK_ESCAPE ){    break;  }}
    列表1.4 相当于图1「Frame」，「Data」的部分
    1 Color图像的尺寸（1920×1080）。
       这里为了简化说明，画像尺寸用硬编码来设定，示例程序可以从Source取得着Frame信息。
    2 Color图像的数据尺寸。
    3 为了处理Color图像，准备OpenCV的cv::Mat。
     「bufferMat」是原始的图像数据，「colorMat」是Resize图像数据的处理。 
     「CV_8UC4」，是无符号8bit整数(8U)，4个channel(C4)并列来表现1个像素的数据格式。
    4 取得Color图像的Frame接口。
    5 从Reader取得最新的Frame。
    6 从Frame取得Color图像。
       默认的格式是YUY2（亮度与色差表现的格式），不过可以经过简单处理变换为BGRA。
    7 缩小为长宽各一半的尺寸(960×540)。
  从「Frame」取得Color图像的数据时，Kinect SDK v1是预先指定图像尺寸和格式，Kinect SDK v2不能指定图像尺寸。因此，取得数据后可以按任意形状来整理。
  取出的Color图像直接显示的话尺寸太大（1920×1080），在这里采用了OpenCV的resize命令（cv::resize()），缩小为长宽各一半的尺寸(960×540)。（注：阅读理解时不要受这一段缩放代码的干扰，仅仅就是为了考虑在显示器上显示的方便观察，没别的意义。）
  取出的Color图像的数据如果指定的是BGRA格式，就会像图2一样的排列着。蓝(B)，绿(G)，红(R)，和无效值(A)的共计32bit构成1像素。
图2 Color图像的数据排列
 
运行结果
运行这个示例程序的话，就会像图3那样，显示从Kinect v2预览版中取得的Color图像。
总结
本节介绍了从Kinect SDK v2预览版中取得数据的基本流程和取得Color图像的示例程序，下一节将介绍取得Depth数据的示例程序。
 

Kinect V2程序设计(C++) Color篇


联系
我们