Webcam FBT

Hrólfur Gylfason

Hlekkir

Um verkefnið

Þetta forrit notar einfalda vefmyndaél til þess að finna staðsetningar fóta manneskju í VR og segir OpenVR að það séu skynjarar á fótunum, þetta gerir það að verkum að þú getur hreyft fæturna í virtual heiminum án þess að nota dýra skynjara.

Hvað var notað

Forritið finnur staðsetningar lima notandans með posenet sem er library í JavaScript sem finnur stöðu manneskju í vafra. Ástæðan fyrir því að þetta er notað er bara vegna þess að þetta er eina libraryið sem ég fann sem gerir pose detection og kemur fyrir fram þjálfað, annars hefði ég þurft að þjálfa pose detectionið á mínum eigin gögnum.

Annað library sem forritið notar er OpenVR InputEmulator eina ástæðan fyrir að nota þetta forrit er það að þetta gerir það einfaldara að búa til þykjustu fjarstýringar sem OpenVR sér og að færa þær, en í framtíþinni langar mér að nota þriðja libraryið sem þetta forrit notar í að gera það.

pyopenvr leyfir manni að vinna með OpenVR libraryið sem er gert fyrir C++ í Python, það sem þetta gerir núna er bara að fá staðsetningu headsetsins til þess að setja nota sem Z staðsetningu fótanna vegna þess að myndavélin getur bara náð X og Y en í framtíðinni langar mér að nota þetta í staðin fyrir OpenVR InputEmulator vegna þess að það er mun hraða, það hafa ekki komið neinar uppfærslur í OpenVR InputEmulator í tvö ár og þá verður auðveldara að sækja þetta verkefni.

Hvernig virkar forritið

Forritið fær fyrst upplýsingar um staðsetningu líkamsparta með posenet í vafranum, svo þegar JavaScriptið er búið að fá staðsetningu líkamspartana sendir það staðsetningar á local Python webserver, þessi server tekur við staðsetningunum, færir þær yfir í rétt hnit fyrir OpenVR til þess að skilja og notar svo OpenVR InputEmulator til þess að uppfæra staðsetningarnar á hip og fóta trackerunum.

Hvernig gekk

Ég held að þetta verkefni hafi gengið frekar vel, forritið nær að reikna staðsetningu notandans frekar nákvæmlega, þetta er auðvitað ekki jafn gott eins og Kinect dýptarmyndavél en miðað við að það þarf bara venjulega vefmyndaél og engan auka búnað virkaði þetta frekar vel. Aðal vandamálið við forritið núna er að forritið uppfærir stöðuna ekki oft, uþb á hverri einu og hálfu sekúndu sem gerir það að verkum að hreyfingar eru ekki raunverulegar fyrir aðra spilara sem sjá þig. Annað vandamál er að það er ekki hægt að hreyfa fæturna nær og fjær myndavélinni, bara til hliðar, upp og niður.

Næstu skref

Næstu skref með þetta forrit er það að gera betri leið til þess að stilla það, núna þarf að stilla það með því að slá inn offset og multiplier en mig langar að gera einfaldari leið til þess að stilla forritið. Annað sem þarf að gera er það að skipta yfir í að nota hreint OpenVR í staðin fyrir OpenVR InputEmulator, það mun gera forritið mun hraðara.

Viðmótsforritun - Tölvubraut - Tækniskólinn - 2019