Microsoft Kinect для PС

[Gagarik 0]

предлагаю сюда выкладывать все что связано со связкой кинекта и писюка, сейчас существует уже очень много возможностей применения его на компе, так что забываем про скучные мышки и клавиатуры на столах и по полной юзаем кинект в винде

 

здесь собственно компания сделавшая чип с которого все и началось http://www.primesense.com/ (ничего интересного на сайте)

 

любителям попрограммить здесь можно скачать SDK как для hardware так и для midlleware, почитать форум, API и прочее полезное http://www.openni.org/

 

подробная инструкция по установке и настройке драйверов здесь http://www.cleoag.ru/2010/12/10/kinect-OpenNi/

 

здесь собственно сами драйвера для Microsoft Kinect https://github.com/avin2/SensorKinect

 

и наконец-то вот здесь находится самое нужное, софтина которая собственно и позволяет вам использовать кинект в писюковых играх, софте, интернете, да и вообще где угодно, все что вам надо - это лишь создать бинды с привязкой действия к кнопке мышки или клавиатуре, например наклон тела больше чем на 20 градусов - означает нажатие пробела, или поднятие левой ноги выше чем на 10 дюймов - это клик мышкой... короче читаем, изучаем и пробуем, здесь все подробно расписано http://projects.ict.usc.edu/mxr/faast/

Изменено 4 марта 2011 пользователем Gagarik

[Gagarik 0]

технология передачи кинектовских данных через сокет-сервер во Flash, Silverlight, Unity приложения (игры) http://labs.blitzagency.com/?p=2634

[HeBonpoc 0]

МС будут делать кинект для пк , подойдет ли кинект от бокса к пк ? будет ли какой-то переходник ? если инфа насчет этого ?

[Gagarik 0]

да по сути то ничего делать мелкомягкие и не будут, все уже сделано, ну максимум что им придется сделать, это взять и как они любят делать еще с 80-х годов стырить уже написанный другими людьми под кинект софт )))

кинект от бокса ессесно подходит для пк, в комплекте с кинектом идет переходник юсб с питаловом для подключения кинекта к не слимовским боксам, собственно через этот кабелёчек и подрубается к пк, устанавливаются драйвера, устанавливается софт для поддержки аля FAAST и всё...

 

вообще в кинекте используется технология разработанная компанией primesense, эта же компания выпускает собственные сенсоры аля кинект, отличие от кинекта заключается в следующем разрешение камер 640х480 при 60 fps, а в кинекте по дефолту используется только 320х240 при 30fps, НО! камеры используемые в кинекте тоже держат максимальное разрешение 640х480, но вот фэпээсов только 30, мелкомягкие объяснили это тем что они сделали это специально чтоб не загружать юсб канал данными и другие юсб девайсы могли его использовать(интересно какие же блин? кто-то втыкает что-то еще в юсб бокса?) и когда у мелкомягких спросили будут ли они выпускать новую прошу для кинекта чтоб он стал работать с большим разрешением, чтоб можно было позиционировать даже отдельно пальцы рук (сейчас только ладони) - они тупо ответили, что мол им и существующего разрешения хватает, а тем кому мало пусть сами и заморачиваются, короче как всегда наплевали на всех ))) хотя если бы я продал за 2 месяца 8млн. единиц какого-то девайса, я бы тоже наплевал на всех и не заморачивался ни с чем, все равно через месяц-два наши узкоглазые братья завалят рынок аналогами кинекта с ценой в 10 раз дешевле, думаю после широкого распространения на пк, цена на кинект или аналог должна упасть на уровень обычной беспроводной мышки )))

 

з.ы. если будет востребовано - могу написать гайд как кинект подрубать и настраивать на компе, если че даже видос могу записать и озвучить для совсем не разбирающихся в компах

Изменено 4 марта 2011 пользователем Gagarik

[rolex 0]

Интересно, автор топика САМ что-либо путного из написаного сделал? Что есть кроме лозунгов и призывов? :biggrin:

У меня кинект из бандла, заказал на ибее адаптер с евровилкой, жду прилета и начинаю эксперименты.

 

Насчет мелких и мягких, все они будут делать и сами, автор видимо в гугле запутался:

 

Microsoft скоро выпустит среду разработки Kinect для Windows

 

22.02.2011 [13:06], Егор Калейник

Представители компании Microsoft официально подтвердили в своем техническом блоге, что в скором времени будет выпущена среда разработки приложений для игрового контроллера Kinect под ОС Windows.

 

Изначально контроллер Kinect был выпущен исключительно для игровой консоли Xbox 360, но воодушевленная высокими продажами, Microsoft решила, что данное устройство сможет найти свое место и на ПК. По словам главы отдела интерактивных развлечений Дона Матрика, Kinect SDK увидит свет уже весной текущего года.

 

В скором времени после появления Kinect для Xbox 360 в Сети стали появляться сообщения о попытках энтузиастов «подружить» новинку с ПК. Сначала компания пыталась пресечь эти попытки, но позже сама решила выпустить все необходимое для корректной работы ПО. В начале года официальный релиз Kinect для Windows обещал исполнительный директор Microsoft Стив Балмер.

Читать на 3dnews

[Gagarik 0]

Интересно, автор топика САМ что-либо путного из написаного сделал? Что есть кроме лозунгов и призывов? :biggrin:

У меня кинект из бандла, заказал на ибее адаптер с евровилкой, жду прилета и начинаю эксперименты.

 

Насчет мелких и мягких, все они будут делать и сами, автор видимо в гугле запутался

 

1. хоть у меня бокс всего 3-4 дня, но ессесно САМ что-либо путное из написанного уже сделал, иначе нафига бы эту тему создавал собственно и предлагал безвозмездную помощь людям по подключению кинекта к компу?

2. покажи хоть один лозунг или призыв в моих постах, где они?

3. понятно что мелкомягкие выложат в сеть "свою" SDK, какой смысл им его теперь скрывать от общественности, если уже есть аналогичные опен-сурсные SDK?

4. если ты не понял, то эта тема в принципе не подразумевает каких либо лозунгов и призывов, в них тупо нет никакого смысла, тема создана лишь для того чтоб помочь людям подрубить кинект к компу и наслаждаться возможностями использования нового интерфейса в повседневной жизни и работе, да и игрушек на компе в которых можно юзать кинет - неограничено по сути, бери любую и бинди управление на кинект... в отличие от бокса, где игрушка должна быть специально заточена под кинект... сколько их ща не считая повторяющихся? 5 кажись, да? сколько их еще до конца года выйдет - 5-10? мне например такого разнообразия мало бы было будь я геймером )))

5. если ты шарящий и желаешь сделать что-то путное, так делай, я разве против? да я только за, хотя уже мне например и тяжело придумать что еще можно с кинектом сделать, мышку/клаву сэмулировали уже, даже к сервер-ориентед аппликухам прикрутили ивенты, тебе хотелось бы увидеть какой-то специфичный софт под кинект? опиши что именно надо, обмозгуем, мне будет нечем заняться на работе - возьму да напишу что-то полезное, мне это не трудно совершенно, мне только в кайф попрограммить что-то интересное, хоть веб приложения, хоть десктопные писать для меня разницы нет, это моя работа, а работу надо любить )))

[rolex 0]

Gagarik, что ты так запаниковал и обиделся. Я всего лишь спросил, что ты сделал сам и почему не рассказал для других как это сделать. Этой лапши поразвешано вокруг пруд пруди. Но пока нет ни одного ресурса, где бы сделали толковый FAQ и рассказали другим о всем мульках и подводных камнях, чтобы парни не шли по граблям, если что, сами по новой. Вот и все. Есть чем поделиться, опиши расскажи, а эти копи-пасты поразвешаны в разных темах.

Если уж решил создать тему и вести ее - покажи что ты сделал.

 

Надеюсь, что еще раз не обидел тебя ни чем.

Я присоединюсь к этй теме как только прибудет мой БП с переходником из Китая.

[Gagarik 0]

да не, никакой паники или обид, мы же давно не дети... а делать то собственно ничего и не надо хитрого, все достаточно просто:

 

1. подрубаем кинект через переходник в юсб порт компа, включаем в розетку питание кинекта

2. качаем OpenNI

3. качаем NITE

4. качаем драйвер Kinect

5. качаем FAAST

6. устанавливаем OpenNI

7. устанавливаем NITE, при установке вводим серийный номер 0KOIk2JeIBYClPWVnMoRKn5cdY4=

8. распаковываем драйвер Kinect и устанавливаем из папки bin файл SensorKinect-Win32-5.0.0.exe

9. распаковываем FAAST и запускаем файл FAAST.exe это собственно и есть программа которая и будет обеспечивать эмуляцию мышки и клавы

10. во вкладке Sensor в поле Smoothing Factor ставим значение 0.08 или подбираем экспериментальным путем свое, это обеспечивает сглаживание

11. нажимаем кнопку Connect

12. теперь мы видим свой силуэт на экране, становимся в позу "пси" (по русски это выглядит как "руки вверх, фашист проклятый") программа калибруется и на нашем силуэте теперь видим привязанный скелет, шевелим руками/ногами - он тоже шевелится

13. во вкладке Actions биндим управление, по умолчанию наклоны тела уже привязаны к кнопкам wsad аналогично добавляем туда все что вам необходимо в игре, список возможных действий и примеры биндинга смотрим здесь

14. нажимаем кнопку Start Emulator

15. запускаем игру и играем

 

как видите ничего сложного нет, главное прописать необходимый вам биндинг, на сайте разработчика FAAST есть форум, если что там можно найти примеры биндинга к различным играм и задать какие-то вопросы

 

з.ы. для того чтоб распознавались две руки одновременно, надо скопировать файл Nite.ini который идет с FAAST в папку c:\Program Files\Prime Sense\NITE\Hands\Data

правда реализация двух рук сделана плоховата в NITE, возникают проблемы с фокусировкой, но они обещают все поправить...

[Gagarik 0]

ВНИМАТЕЛЬНО! делаем все что написано в инструкции, не пропуская ни одного пункта и в той последовательности в которой написано, ВСЕ пункты с 1 по 15, а не половину!

[Gagarik 0]

немного о биндинге...

 

биндинг пишется в формате: действие значение тип_события имя_события

 

пример биндинга в конфиге:

left_foot_forwards 20 key_hold w

этот биндинг означает, что если левая нога выдвинута вперед больше чем на 20 дюймов - зажать клавишу w и отпустить её когда нога станет выдвинута меньше чем на 20 дюймов

 

углы измеряются в градусах, расстояния - дюймы, скорость - дюймы в секунду

 

действия:

lean_left наклон тела влево (угол наклона тела)

lean_right наклон тела вправо (угол наклона тела)

lean_forwards наклон тела вперед (угол наклона тела)

lean_backwards наклон тела назад (угол наклона тела)

 

turn_left поворот тела влево (угол поворота тела)

turn_right поворот тела вправо (угол поворота тела)

 

left_arm_forwards левая рука вперед (расстояние от плеча до кисти)

left_arm_down левая рука вниз(расстояние от плеча до кисти)

left_arm_up левая рука вверх (расстояние от плеча до кисти)

left_arm_out левая рука влево (расстояние от плеча до кисти)

left_arm_across левая рука вправо (расстояние от плеча до кисти)

 

right_arm_forwards правая рука вперед (расстояние от плеча до кисти)

right_arm_down правая рука вниз (расстояние от плеча до кисти)

right_arm_up правая рука вверх (расстояние от плеча до кисти)

right_arm_out правая рука вправо (расстояние от плеча до кисти)

right_arm_across правая рука влево (расстояние от плеча до кисти)

 

left_foot_forwards левая нога вперед (расстояние от бедра до ступни)

left_foot_sideways левая нога влево (расстояние от бедра до ступни)

left_foot_backwards левая нога назад (расстояние от бедра до ступни)

left_foot_up левая нога вверх (расстояние от пола до ступни)

 

right_foot_forwards правая нога вперед (расстояние от бедра до ступни)

right_foot_sideways правая нога вправо (расстояние от бедра до ступни)

right_foot_backwards правая нога назад (расстояние от бедра до ступни)

right_foot_up правая нога вверх (расстояние от пола до ступни)

 

jump прыжок (расстояние от пола до обеих ступней)

crouch приседание (расстояние от полного роста минус текущая высота тела)

walk хотьба на месте (расстояние от пола до ступней при хотьбе на месте)

 

push удар вперед (скорость удара вперед)

swipe_up удар вверх (скорость удара вверх)

swipe_down удар вниз (скорость удара вниз)

swipe_left удар влево (скорость удара влево)

swipe_right удар вправо (скорость удара вправо)

 

circle нарисовать рукой круг (радиус окружности)

wave нарисовать рукой волну (без параметра, указывать 0)

 

тип события:

key_press нажатие кнопки клавиатуры

key_hold удерживание нажатой кнопки клавиатуры

mouse_click клик мышки (имя события: left_button, right_button, middle_button)

mouse_double_click двойной клик мышки (имя события: left_button, right_button, middle_button)

mouse_hold удерживание нажатой кнопки мышки (имя события: left_button, right_button, middle_button)

faast управление программой эмуляции faast (имя события: pause, resume, stop)

 

имена специальных событий:

backspace, caps_lock, up_arrow, delete, numpad_2, multiply, f3, f11, f19, left_shift, browser_refresh, media_next_track, tab, escape, right_arrow, help, numpad_3, add, f4, f12, f20, right_shift, browser_stop, media_previous_track, clear, space, down_arrow, left_windows, numpad_4, separator, f5, f13, f21, left_control, browser_search, media_stop, enter, page_up, select, right_windows, numpad_5, subtract, f6, f14, f22, right_control, browser_favorites, media_play_pause, shift, page_down, print, applications, numpad_6, decimal, f7, f15, f23, left_alt, browser_home, start_mail,

control, end, execute, sleep, numpad_7, divide, f8, f16, f24, right_alt, volume_mute, media_select, alt, home, print_screen, numpad_0, numpad_8, f1, f9, f17, num_lock, browser_back, volume_down,

start_application_1, pause, left_arrow, insert, numpad_1, numpad_9, f2, f10, f18, scroll_lock, browser_forward, volume_up, start_application_2

[Gagarik 0]

поигрался я тут немного в BLACK OPS на PC с кинектом и собственно вот моё резюме...

 

долго пришлось возиться с настройкой прицеливания чтоб подобрать более-менее подходящие параметры, в правой руке удобно держать беспроводную мышку для стрельбы и зума, но кому нравится, можете стрельбу прикрутить например к выставлению правой руки вперед, хотя кликать по мышке имхо удобнее... кстати позиционирование мышки в фаасте надо включать в режим relative когда играете в игры, а когда юзаете кинект в винде - absolute

 

вообще навигация с кинектом в шутерах удобна, я бы сказал даже очень прикольно, но вот с настройкой прицеливания придется повозиться как следует и научиться не мотылять руками, для этого я думаю прикупить какой-нить детский дешевый китайский пластиковый калаш с ремнем и повесить его на шею, тогда руки будут висеть более-менее на одном уровне и не мотыляться из стороны в сторону да и не будут уставать так сильно от постоянного держания их на весу, еще планирую расковырять старую беспроводную мышку и прилепить её кнопки на калаш, левую кнопку на курок, а на правую кнопку (включение зума можно с неё убрать и настроить на поднесение калаша к лицу, типа прицеливаешься) забиндить перезарядку и прикрепить на магазин чтоб ваще мега реалистично и круто было

 

еще кстати долго играть у вас не получится т.к. быстро выматываешься ведь бег в игре привязан к реальному бегу на месте, а в шутерах сами знаете сколько бегать надо, я пробовал привязывать бег к наклону тела вперед - не очень удобно получается, лучше уж на месте побегать )))

 

в общем тема достаточно рабочая и мега позитивные эмоции и новые ощущения от игр на компе вам гарантированы!

 

вот пример конфига

 

left_arm_out 15 key_press f

left_arm_across 15 key_press g

left_arm_forwards 15 key_press r

lean_forwards 30 key_press left_control

lean_left 30 key_hold q

lean_right 30 key_hold e

left_foot_up 5 key_press v

right_foot_up 5 key_press 5

left_foot_sideways 5 key_hold a

left_foot_backwards 5 key_hold s

right_foot_sideways 5 key_hold d

right_foot_backwards 5 key_hold s

jump 5 key_press space

walk 1 key_hold w

walk 5 key_hold left_shift

[Gagarik 0]

зашел ща в магазин игрушек и купил за 153 рубля пластиковый М4, долго ржал с цены, так у него еще и приклад съемный да плюс с ним еще каска идет, наручники, рация и значок ментовской, долго проржаться не мог представив если на себя еще и каску натянуть как это будет выглядеть ))) завтра сделаю отчет по внедрению мышки в автомат )))

[tekilla 0]

Хоть кого нибудь убил?

[Maksat 0]

на каком расстоянии надо калиброваться?силуэт есть и он двигается в след за мной,но нет скелета(((

[Gagarik 0]

Хоть кого нибудь убил?

а разве в бо можно кого-то не убить? ))) там такое мясо, стока народу, особенно вьетнамцев, что если даже стрелять просто куда угодно не целясь кого-то все равно убьешь, короче мясо сделали из нормальной игры полнейшее...

[*Shinigami* 191]

У меня по ссылке 4 го пункта дрова нихрена не качаются - может кто залить в другое место?

 

отбой - из под линуксов скачал

Изменено 11 марта 2011 пользователем *Shinigami*

[Gagarik 0]

попробовал поиграть в БО держа в руках автомат - это супер, эмоции зашкаливают, нет слов чтоб передать весь кайф от игры, советую всем любящим шутеры и имеющим кинект срочно бежать в магазин игрушек за автоматом, это совершенно разные вещи когда прицеливаешься просто проводя рукой по воздуху и когда водишь автоматом я и не думал что настолько будет отличаться кайф от шутера )))

 

всё, беспроводная мышка уже раскурочена и её плата походу как раз офигенно влезет в магазин, останется только курок соединить с кнопкой )))

[NaUZER 0]

запиши на видео как это смотрится...

[sjgosha 0]

запиши на видео как это смотрится...

+1

[Drulik 0]

Скинь конфиг свой пожалуйста. сколь не настраивал, мышь очень сильно дёргается.

[Chipalino 1]

Мышь нереально сильно дергается.

[Gagarik 0]

запиши на видео как это смотрится...

без проблем, как только так сразу...

 

Мышь нереально сильно дергается.

да, к сожалению есть такой баг, разработчики пока что молчат про это, врубайте позиционирование мышки relative и дерганий не будет, почему-то при absolute в 7 версии фааста мышка стала дергаться ((( но т.к. в играх юзается relative то в играх дерганий нет

 

Скинь конфиг свой пожалуйста. сколь не настраивал, мышь очень сильно дёргается.

да я и сам сейчас подбираю настройки конфига чтоб все вообще офигенно было, геморное это дело, слишком много фигни в шутерах всякой которую делать надо, про дерганье я уже написал выше как от него избавиться, ну а конфиг примерно вот такой сейчас у меня

 

# FAAST 0.07 configuration file

[sensor]

sensor_resolution 0

mirror_mode 0

smoothing_factor 0.07

skeleton_mode 0

focus_gesture 0

[Mouse]

mouse_enabled 1

mouse_control 1

mouse_body_part 1

mouse_origin 0

mouse_left_bound 12

mouse_right_bound 12

mouse_bottom_bound 12

mouse_top_bound 12

mouse_forward_threshold 12

mouse_relative_speed 50

mouse_movement_threshold 2

mouse_multiple_monitors 0

[Actions]

left_arm_out 15 key_press f

left_arm_up 15 key_press g

left_arm_forwards 15 key_press r

lean_forwards 30 key_press left_control

lean_left 30 key_hold q

lean_right 30 key_hold e

left_foot_up 5 key_press v

right_foot_up 5 key_press 5

left_foot_sideways 5 key_hold a

left_foot_backwards 5 key_hold s

right_foot_sideways 5 key_hold d

right_foot_backwards 5 key_hold s

jump 5 key_press space

walk 3 key_hold w

walk 5 key_hold left_shift

 

вот что я сделал с автоматом, как и обещал фото-отчет...

http://s07.radikal.ru/i180/1103/4b/a8439b36f4e4t.jpg

http://s45.radikal.ru/i107/1103/a0/33891c080878t.jpg

http://s004.radikal.ru/i205/1103/23/81fb5e154f37t.jpg

http://s52.radikal.ru/i136/1103/3b/8f21906d82dbt.jpg

http://s45.radikal.ru/i107/1103/80/c1c6ff779b0ct.jpg

http://s50.radikal.ru/i127/1103/29/d893b8991e90t.jpg

 

Изменено 12 марта 2011 пользователем Gagarik

[Gagarik 0]

эх блин, от бешенного нажатия на курок отлетела кнопка, придется завтра покупать монтажный клей и намертво её заливать, еще перенес батарейки в рукоятку, стало совсем прикольно

[ZiP 0]

Gagarik, блин это гениально)

[Gagarik 0]

ну проще например купить автомат для wii и заюзать его вместе с кинектом, так думаю даже намного лучше будет прицеливаться, т.к. в кинекте на данный момент очень геморно надо подбирать настройки мышки, у меня пока до идеала далеко и я бы сказал очень далеко, часто теряется фокус с автомата и прицел падает на землю и начинает крутить, думаю надо повозюкаться с настройкой размера квадрата для фокусировки...