null null labs | DirectShow.cpp

DirectShow.cpp

/*
*  DirectShow.cpp
*
*  Created by Daisuke Nogami on Sep, 05.
*  opyright 2005 Daisuke Nogami [null-null.net]. Some rights reserved.
*/
 
#include "StdAfx.h"
#include "DirectShow.h"
 
#define TSZW 256
#define TSZH 256
 
#define MHI_DURATION 1
#define OCV_N 4
 
DirectShow::DirectShow(){
  IGraphBuilder* pGraph = NULL;
  IMediaControl* pMC = NULL;
  ICaptureGraphBuilder2* pCapture = NULL;
  IBaseFilter* pF  = NULL;
  ISampleGrabber* pGrab = NULL;
 
  ICreateDevEnum* pDevEnum =NULL;
 
  //////
  int texBufSize = TSZW*TSZH*3;
  this->btmp = new unsigned char[texBufSize];
  this->_cHeight = TSZH;
  this->_cWidth = TSZW;
 
  // initialize
  init();
}
 
DirectShow::~DirectShow(){
  ///////
  delete []this->btmp;
  this->btmp=NULL;
}
 
void DirectShow::init(){
  CoInitialize(NULL);  
 
  // キャプチャデバイスを探す
  IBaseFilter  *pbf = NULL;
  IMoniker * pMoniker = NULL;
    ULONG cFetched;
    // デバイス列挙子を作成
    
    CoCreateInstance( CLSID_SystemDeviceEnum, NULL, CLSCTX_INPROC,
            IID_ICreateDevEnum, (void ** ) &pDevEnum);
 
    // ビデオキャプチャデバイス列挙子を作成
    IEnumMoniker * pClassEnum = NULL;
    pDevEnum -> CreateClassEnumerator(
          CLSID_VideoInputDeviceCategory, &pClassEnum, 0);
 
    if (pClassEnum == NULL){
    printf("ビデオキャプチャデバイスは存在しません\n");
    pDevEnum -> Release();
    CoUninitialize();
        return ;
    }
    // 最初に見つかったビデオキャプチャデバイスのオブジェクトの
  // インタフェースを得る
    pClassEnum -> Next(1, &pMoniker, &cFetched);
  pMoniker -> BindToObject( 0, 0, IID_IBaseFilter, (void**)&pbf );
   
  // ---- フィルタグラフの準備 ----
    // フィルタグラフを作り、インターフェースを得る
    CoCreateInstance( CLSID_FilterGraph, NULL, CLSCTX_INPROC,
            IID_IGraphBuilder, (void **) &pGraph);
    pGraph -> QueryInterface( IID_IMediaControl, (LPVOID *) &pMC );
  // キャプチャフィルタをフィルタグラフに追加
    pGraph -> AddFilter( pbf, L"Video Capture");
  // 追加を行ったのでキャプチャフィルタの参照をリリース
    pbf -> Release();
 
  // ---- グラバフィルタの準備 ----
  // グラバフィルタを作る
  CoCreateInstance( CLSID_SampleGrabber, NULL, CLSCTX_INPROC_SERVER, 
                      IID_IBaseFilter, (LPVOID *)&pF);
  pF -> QueryInterface( IID_ISampleGrabber, (void **)&pGrab );
 
  // グラバフィルタの挿入場所の特定のための設定
  AM_MEDIA_TYPE   amt;
  ZeroMemory(&amt, sizeof(AM_MEDIA_TYPE));
  amt.majortype  = MEDIATYPE_Video;
  amt.subtype    = MEDIASUBTYPE_RGB24;
  amt.formattype = FORMAT_VideoInfo; 
  pGrab -> SetMediaType( &amt );
  // グラバフィルタをフィルタグラフに追加
  pGraph -> AddFilter(pF, L"SamGra");
 
  // ---- キャプチャグラフの準備 ----
  // キャプチャグラフを作る   
  CoCreateInstance( CLSID_CaptureGraphBuilder2 , NULL, CLSCTX_INPROC,
              IID_ICaptureGraphBuilder2, (void **) &pCapture );
    // フィルタグラフをキャプチャグラフに組み込む
    pCapture -> SetFiltergraph( pGraph );
    // キャプチャグラフの設定、グラバをレンダリング出力に設定
    pCapture -> RenderStream (&PIN_CATEGORY_PREVIEW, &MEDIATYPE_Video,
                                pbf, NULL, pF);
  
  // ビットマップ情報の取得	
  pGrab -> GetConnectedMediaType( &amt ); 
  // ビデオ ヘッダーへのポインタを獲得する。
  printf( "amt.lSampleSize = %d \n", amt.lSampleSize );
  VIDEOINFOHEADER *pVideoHeader = (VIDEOINFOHEADER*)amt.pbFormat;
  // ビデオ ヘッダーには、ビットマップ情報が含まれる。
  // ビットマップ情報を BITMAPINFO 構造体にコピーする。
  BITMAPINFO BitmapInfo;
  ZeroMemory( &BitmapInfo, sizeof(BitmapInfo) );
  CopyMemory( &BitmapInfo.bmiHeader, &(pVideoHeader->bmiHeader), 
        sizeof(BITMAPINFOHEADER));
  
  bih = BitmapInfo.bmiHeader;
 
  biSizeImage = bih.biSizeImage;
 
  lpBmpData = (char *)malloc( biSizeImage );
 
 
 
 
 
  // cv
  frameImage=cvCreateImage( cvSize(bih.biWidth,bih.biHeight), 8, 3 );
  motion = cvCreateImage( cvSize(bih.biWidth,bih.biHeight), 8, 3 );
  tmpMotion = cvCreateImage( cvSize( TSZW , TSZH ), 8, 3 );
 
  cvZero( frameImage );
  cvZero( motion );
  cvZero( tmpMotion );
 
    buf = (IplImage**)malloc(OCV_N*sizeof(buf[0]) );
    memset( buf, 0, OCV_N*sizeof(buf[0]) );
    
  int i;
    for( i = 0; i < OCV_N; i++ ) {
        buf[i] = cvCreateImage( cvSize(bih.biWidth,bih.biHeight), IPL_DEPTH_8U, 1 );
        cvZero( buf[i] );
    }
  last = 0;
    
    mhi = cvCreateImage( cvSize(bih.biWidth,bih.biHeight), IPL_DEPTH_32F, 1 );
    segmask = cvCreateImage( cvSize(bih.biWidth,bih.biHeight), IPL_DEPTH_32F, 1 );
    mask = cvCreateImage( cvSize(bih.biWidth,bih.biHeight), IPL_DEPTH_8U, 1 );
 
  cvZero( mhi );
  cvZero( segmask );
  cvZero( mask );
 
  int x, y;
  btmp = new unsigned char[TSZW*TSZH*3];
  for( y = 0; y < TSZW; y++ ){
    for( x = 0; x < TSZH; x++ ){
      btmp[x+y*TSZW] = 0;
    }
  }
  
}
 
void DirectShow::start(){
  pGrab -> SetBufferSamples(TRUE);  // グラブ開始
   pMC -> Run();
}
 
void DirectShow::Release(){
  pMC -> Stop();
  pGrab -> SetBufferSamples( 0 );
  // ---- 終了処理 ---- 
    // インターフェースのリリースj
    pMC -> Release();    
  pDevEnum -> Release();
    pGraph -> Release();
    pCapture -> Release();
  CoUninitialize();
}
 
inline static void ConvertToBitmap(
  const unsigned char* src,
  unsigned char* dest,
  int step,
  int width,
  int height)
{
  unsigned char* i = (unsigned char*)src;
  unsigned char* d;
  int  rowSize = width*3;
  int x, y;
 
    for( y = 0; y < height; y++ ){
    d = dest+(height-y-1)*rowSize;
        for( x = 0; x < width; x++ ){
            // fix channels, swap bgr>rgb
      d++[0] = 255-i[2];
      d++[0] = 255-i[1];
            d++[0] = 255-i[0];
            i+=3;  // rgb
        }
    }
}
 
// parameters:
//  img - input video frame
//  dst - resultant motion picture
//  args - optional parameters
void DirectShow::update_mhi( IplImage* img, IplImage* dst, int diff_threshold ){
  int idx1 = last;
  int idx2;
 
  // get current time in seconds
  double timestamp = clock()/1000.;
 
  // convert frame to grayscale
  cvCvtColor( img, buf[last], CV_BGR2GRAY );
 
  // index of (last - (OCV_N-1))th frame
  idx2 = (last+1) % OCV_N;
  last = idx2;
 
  // get difference between frames
  silh = buf[idx2];
  cvAbsDiff( buf[idx1], buf[idx2], silh );
    
  // and threshold it
  cvThreshold( silh, silh, diff_threshold, 1, CV_THRESH_BINARY );
  // update MHI
  cvUpdateMotionHistory( silh, mhi, timestamp, MHI_DURATION );
 
    // convert MHI to blue 8u image
  cvCvtScale( mhi, mask, 255./MHI_DURATION, (MHI_DURATION - timestamp)*255./MHI_DURATION );
  cvZero( dst );
  cvCvtPlaneToPix( mask, 0, 0, 0, dst );
}
 
void DirectShow::proc(){
  HRESULT hr = pGrab -> GetCurrentBuffer( &biSizeImage, (long *)lpBmpData );
 
  if( biSizeImage > 0 ){
 
    frameImage->imageData = lpBmpData;
 
    // motion templates
    update_mhi( frameImage, motion, 30 );
 
    // create texture bitmap image
    if( motion != NULL ){
      // resize & smooth
      cvResize( motion, tmpMotion, CV_INTER_NN );
      cvSmooth( tmpMotion, tmpMotion, CV_GAUSSIAN, 3, 0, 0 );
      ConvertToBitmap(
        (unsigned char*)tmpMotion->imageData,
        this->btmp, tmpMotion->widthStep,
        this->_cWidth,
        this->_cHeight
      );
    }
  }
}