首页 > 代码库 > Kinect用体感来实现UI控件的点击

Kinect用体感来实现UI控件的点击

用体感来实现UI控件的点击,如点击按钮。

做法:用一个图片表示左手手掌,图片位置追踪左手手掌移动,当手掌位于UI控件的矩形内时,握拳表示点击该控件。

using UnityEngine;
using System.Collections;
using UnityEngine.UI;

/// <summary>
/// 用Kinect实现UI的点击:追踪左手手掌,移动到UI矩形内握拳表示点击该按钮。
/// </summary>

public class UIClick : MonoBehaviour {
    public Canvas canvas;
    public Image leftHandImage;  // 表示左手
    public Image btnImage;       // 要被点击的UI控件
    KinectManager _manager;
void Start() { } void Update() { if (_manager == null) { _manager = KinectManager.Instance; } // 是否初始化完成 if (_manager && _manager.IsInitialized()) { // 是否人物被检测到 if (_manager.IsUserDetected()) { // 获取用户ID long userId = _manager.GetPrimaryUserID(); // 获取目标关节点的索引(以左手为例) int jointIndex = (int)KinectInterop.JointType.HandLeft; // 判断目标关节点是否被追踪 if (_manager.IsJointTracked(userId, jointIndex)) { // 获取目标关节点在Kinect坐标系(世界坐标)的位置 Vector3 leftHandPos = _manager.GetJointKinectPosition(userId, jointIndex); // 左手的世界坐标 --> 屏幕坐标 Vector3 leftHandScreenPos = Camera.main.WorldToScreenPoint(leftHandPos); Vector2 leftHandScreenPosTemp = new Vector2(leftHandScreenPos.x, leftHandScreenPos.y); // 降维 // 判断左手的UGUI坐标是否在Canvas所表示的矩形内 Vector2 leftHandUguiPos; if (RectTransformUtility.ScreenPointToLocalPointInRectangle((RectTransform)canvas.transform, leftHandScreenPosTemp, null, out leftHandUguiPos)) { RectTransform leftHandRTF = rightHandImage.transform as RectTransform; // 屏幕坐标 --> UGUI坐标 leftHandRTF.anchoredPosition = leftHandUguiPos; } // 判断左手的UGUI坐标是否在Button所表示的矩形内 if (RectTransformUtility.RectangleContainsScreenPoint(btnImage.rectTransform, leftHandScreenPosTemp, null)) { Debug.Log("在按钮中"); // 获取左手的手势状态 KinectInterop.HandState leftHandState = _manager.GetLeftHandState(userId); if (leftHandState == KinectInterop.HandState.Closed) { Debug.Log("左手握拳"); // todo:点击按钮触发的事件 } } else { Debug.Log("在按钮外"); } } } } } }

注意点:

摄像机的坐标要设为Vector3.zero,且设为透视图。

获取关节点坐标要用GetJointKinectPosition()而不是GetJointPosition()

Kinect用体感来实现UI控件的点击