Skip to content

Python OpenNI2

Jump to bottom Edit New page
Eiichiro Momma edited this page Mar 24, 2017 · 5 revisions

(Python) OpenNI2

PythonでOpenNI 2とNiTE 2を使う

※Xtion Proでテスト

OpenNI2およびNiTe2の導入

各サイトに説明されているので省略

Mac OS Xの場合

どちらもinstall.shを実行後に生成されるOpenNIDevEnvironmentおよびNiTEDevEnvironmentを実行し、環境変数が指定されていることを意味する。 一々打つのが面倒な場合には .profile 等に以下のように記述しておく。

source /InstalledDir/OpenNI-MacOSX-x64-2.x/OpenNIDevEnvironment
source /InstalledDir/NiTE-MacOSX-x64-2.x/NiTEDevEnvironment

primesense package の導入

conda等のパッケージマネージャでインストールできる。

自力でインストールする場合はhttps://pypi.python.org/pypi/primesense/からzipなりtar.gzを入手し、適当な場所へ展開する。 コマンドラインから python setup.py install で導入完了。

テスト

サンプルで載っているソース

下記ファイルを実行すると一瞬投光部が光る

from primesense import openni2
openni2.initialize()     # can also accept the path of the OpenNI redistribution

dev = openni2.Device.open_any()
print dev.get_sensor_info(openni2.SENSOR_DEPTH)

depth_stream = dev.create_depth_stream()
depth_stream.start()
frame = depth_stream.read_frame()
frame_data = frame.get_buffer_as_uint16()
depth_stream.stop()

openni2.unload()

frameデータからの変換

frame_dataはuint16のバッファになっていて、numpyのndarrayへdtypeの指定無しで入れるとおかしな事になるので

import numpy as np
import matplotlib.pyplot as plt
depth_array = np.ndarray((frame.height,frame.width),dtype=np.uint16,buffer=frame_data)

とする。 あとは

plt.imshow(depth_array)
plt.show()

で表示できる。

通しだと下記の通り。

import numpy as np
import matplotlib.pyplot as plt
from primesense import openni2
openni2.initialize()     # can also accept the path of the OpenNI redistribution
dev = openni2.Device.open_any()
print dev.get_sensor_info(openni2.SENSOR_DEPTH)
depth_stream = dev.create_depth_stream()
depth_stream.start()
frame = depth_stream.read_frame()
frame_data = frame.get_buffer_as_uint16()
depth_stream.stop()
openni2.unload()

depth_array = np.ndarray((frame.height,frame.width),dtype=np.uint16,buffer=frame_data) 
plt.imshow(depth_array)
plt.show()

OpenCV との連携

特に大した事はしていないが、それなりの速さで取り込み可能

# encoding: utf-8
# oni_ocv_sample.py
# 2013-9-13
# Eiichiro Momma
__author__ = 'momma'
import numpy as np
import matplotlib.pyplot as plt
from primesense import openni2

import cv2

openni2.initialize()     # can also accept the path of the OpenNI redistribution
dev = openni2.Device.open_any()
print dev.get_sensor_info(openni2.SENSOR_DEPTH)
depth_stream = dev.create_depth_stream()
depth_stream.start()

shot_idx = 0
while True:
    frame = depth_stream.read_frame()
    frame_data = frame.get_buffer_as_uint16()
    depth_array = np.ndarray((frame.height, frame.width),dtype=np.uint16,buffer=frame_data)/10000. #0-10000mm to 0.-1.
    cv2.imshow('Depth',depth_array)
    ch = 0xFF & cv2.waitKey(1)
    if ch == 27:
          break
    if ch == ord(' '):
        fn = 'shot_%03d.png)' % shot_idx
        cv2.imwrite(fn, (depth_array*255).astype(np.uint8))
        print fn, ' saved'
        shot_idx += 1        
depth_stream.stop()
openni2.unload()
cv2.destroyAllWindows()

IRセンサも追加

C I/F同様にストリームを指定するだけでIR画像が得られる。但し16bitで1000程度の値にしかならないので，ここでは最大値で正規化している。

# encoding: utf-8
# oni_ocv_sample.py
# 2013-9-13
# Eiichiro Momma
__author__ = 'momma'
import numpy as np
import matplotlib.pyplot as plt
from primesense import openni2

import cv2

openni2.initialize()     # can also accept the path of the OpenNI redistribution
dev = openni2.Device.open_any()
print dev.get_sensor_info(openni2.SENSOR_DEPTH)
depth_stream = dev.create_depth_stream()
depth_stream.start()

ir_stream = dev.create_ir_stream()
ir_stream.start()

shot_idx = 0
while True:
    frame = depth_stream.read_frame()
    frame_data = frame.get_buffer_as_uint16()
    depth_array = np.ndarray((frame.height, frame.width),dtype=np.uint16,buffer=frame_data)/10000. #0-10000mm to 0.-1.
    cv2.imshow('Depth',depth_array)
    ir_frame = ir_stream.read_frame()
    ir_frame_data = ir_frame.get_buffer_as_uint16()
    ir_array = np.ndarray((ir_frame.height, ir_frame.width),dtype=np.uint16, buffer = ir_frame_data).astype(np.float32)
    cv2.imshow('IR',ir_array/ir_array.max())

    ch = 0xFF & cv2.waitKey(1)
    if ch == 27:
          break
    if ch == ord(' '):
        fn = 'depth_shot_%03d.png)' % shot_idx
        cv2.imwrite(fn, (depth_array*255).astype(np.uint8))
        print fn, ' saved'
        fn = 'ir_shot_%03d.png)' % shot_idx
        cv2.imwrite(fn, (ir_array/ir_array.max()*255).astype(np.uint8))
        print fn, ' saved'
        shot_idx += 1
depth_stream.stop()
openni2.unload()
cv2.destroyAllWindows()

depthをCSVに書き出し+フレームサイズを640x480に

要望があったので追加

# encoding: utf-8
# oni_ocv_sample2.py
# 2014-10-29
# Eiichiro Momma
__author__ = 'momma'
import numpy as np
import matplotlib.pyplot as plt
from primesense import openni2

import cv2

openni2.initialize()     # can also accept the path of the OpenNI redistribution
dev = openni2.Device.open_any()
print dev.get_sensor_info(openni2.SENSOR_DEPTH)
depth_stream = dev.create_depth_stream()

depth_stream.set_video_mode(openni2.c_api.OniVideoMode(pixelFormat = openni2.c_api.OniPixelFormat.ONI_PIXEL_FORMAT_DEPTH_1_MM, resolutionX = 640, resolutionY = 480, fps = 30))

depth_stream.start()

ir_stream = dev.create_ir_stream()
ir_stream.set_video_mode(openni2.c_api.OniVideoMode(pixelFormat = openni2.c_api.OniPixelFormat.ONI_PIXEL_FORMAT_GRAY16, resolutionX = 640, resolutionY = 480, fps = 30))
ir_stream.set_video_mode(vmode)

ir_stream.start()

shot_idx = 0
while True:
    frame = depth_stream.read_frame()
    frame_data = frame.get_buffer_as_uint16()
    depth_array = np.ndarray((frame.height,frame.width),dtype=np.uint16,buffer=frame_data)/10000. #0-10000mm to 0.-1.
    depth_array_mm = np.ndarray((frame.height,frame.width),dtype=np.uint16,buffer=frame_data) #0-10000mm
    cv2.imshow('Depth',depth_array)
    
    ir_frame = ir_stream.read_frame()
#Kinect
#    ir_frame_data = ir_frame.get_buffer_as_uint8()
#    ir_array = np.ndarray((ir_frame.height,ir_frame.width),dtype=np.uint8, buffer = ir_frame_data).astype(np.float32)
#Xtion Pro
    ir_frame_data = ir_frame.get_buffer_as_uint16()
    ir_array = np.ndarray((ir_frame.height,ir_frame.width),dtype=np.uint16, buffer = ir_frame_data).astype(np.float32)

    cv2.imshow('IR',ir_array/ir_array.max())

    ch = 0xFF & cv2.waitKey(500)
    if ch == 27:
        break
    if ch == ord(' '):
#    if True:
        fn = 'depth_shot_%03d.png' % shot_idx
        cv2.imwrite(fn, (depth_array*255).astype(np.uint8))
        print fn, 'depth saved'
        fn = 'ir_shot_%03d.png' % shot_idx
        cv2.imwrite(fn, (ir_array/ir_array.max()*255).astype(np.uint8))
        print fn, 'ir saved'
        fn = 'depth_mm_%03d.csv' % shot_idx
        np.savetxt(fn,depth_array_mm,'%d',delimiter=',')
        shot_idx += 1
depth_stream.stop()
ir_stream.stop()
openni2.unload()
cv2.destroyAllWindows()

NiTE2の利用

普通にinitializeするとエラーが発生する。site-packages内にインストールされた_nite2.pyからniteDumpUserTrackerCalibrationDataToFile関連をコメントアウトするとinitializeに成功するが、使い方が不明。

門馬 英一郎 Eiichiro Momma

このWikiについて

  • ソースは汚ないです
  • 実際に確認した内容に基いて記述していますが、環境の違いにより意図せぬ動作をする場合があります
  • 書かれている内容は個人の見解であり所属する組織の公式見解ではありません

著作権について

  • このWikiに記載されている文章、ソース、画像等で出典の記載されていない物の著作権は門馬英一郎に帰属します。
  • 研究、教育目的に於いては、出典を明記すれば自由に利用して構いません。
  • 商用利用を目的とする場合にはコメント、メール等でご連絡下さい。

Home

ToC

各項目

Clone this wiki locally