This is about TouchToTUIO, a tool that establishes a TUIO-source for the multi-touch-input from the n-trig panel of the Dell Latitude XT2 laptop.
TouchToTUIO does not require a transparent overloay window, works with windows aero enabled and with fullscreen apps.
This way, you can use any multi-touch app that supports touch-input coming from a TUIO-source.

Example: You can enable multi-touch-input of Dell Latitude XT2 with the Surface SDK as follows:

What you need:

  1. Surface SDK Workstation Edition SP1 (MSDNAA, surface.com, ..)
  2. MultitouchVista second release – refresh 2
  3. CustomSurfaceInput by Daniel D
  4. HCM TouchToTUIO: TouchToTUIO.zip

Steps:

Concept:
The following sketch roughly depicts where TouchToTUIO is located within the app-chain:

You can of course attach any TUIO-app to the TUIO-output of TouchToTUIO.

Hints:
TouchToTUIO appears as a trayicon only and provides a popup-menu with the following options:

  • ReStart: Restart TUIO server
  • Contact Type: Send multi-touch input either as TUIOCursor or TUIOObject
  • About: Show about window
  • Quit: Quit TouchToTUIO

TouchToTUIO was designed only for Windows 7 and the latest n-trig driver on a Dell Latitude XT2. There is a chance that it works with other n-trig-panels.

Download:

Download: TouchToTUIO.zip
Version: 1.0
Updated: April 4, 2011
Size: 28.93 KB
Hits: 474

Related:

Hanson Robotics hat einen Roboter auf den Markt gebracht, der starke Konkurrenz zum Nao von Aldebaran Robotics machen könnte. Er scheint etwas beweglicher zu sein als Nao (> 25 DOFs), vor allem unterscheidet er sich aber durch seine ausdrucksfÀhigen Gesichter. Es gibt das Gesicht eines Jungen, das Gesicht eines MÀdchens und ein Gesicht, das Einstein Àhnelt.

Preislich bewegt sich der Roboter in den selben Kategorien wie Nao. Die Informationen zur Software sind spÀrlich, weshalb die Roboter in diesem Punkt schwer vergleichbar sind. Die Leute von Hanson Robotics setzen aber auf Open Source.

Seth sandler has updated his “Ultimate List of Interactive Tables” and guess.. Xenakis is also listed there..

The Ultimate List of Interactive Tables

NVIDIA zeigt in einer Demo eine dynamische Anpassung eines 3D-Characters auf Grundlage von Texturen und Animationsmodellen. Der Alien kann dabei in Echtzeit verĂ€ndert werden und z.B. Krankheit und Verletzungen visualisieren. Diese lassen sich durch unterschiedliches Timing in der Animation auch als verheilend darstellen, was etwas authentischer wirkt als eine reine Überblendung von der Verletzung zur intakten Haut. Auch interessant ist, dass nicht nur die Textur verĂ€ndert wird, sondern auch eine BeeintrĂ€chtigung des Bewegungsablaufs statt findet. Insgesamt scheint es sich um eine Ausarbeitung von Überblendungsmechanismen im Bereich Animation und Textur zu handeln.

Passt auch zu meiner Ausschreibung: Automated Character Customization

Die Fachhochschule Kiel hat sich fĂŒr die weihnachtliche Zeit etwas besonderes einfallen lassen und lĂ€sst ihren Nao “Marvin” eine Weihnachtsgeschichte vorlesen. Jeweils am Sonntag den 5., 12., 19. sowie 24. Dezember werden weitere Teile der Geschichte online gestellt.

Die Videos sind hier zu sehen: http://fh-kiel.de/index.php?id=7810

Nett finde ich an dem Video, dass der Roboter unterschiedliche Augenfarben und Stimmen fĂŒr die unterschiedlichen Figuren nutzt und Teile der Geschichte mit Sounds untermalt.

Viel Spaß mit der Geschichte und eine fröhliche Weihnachtszeit!

Markus

INTERSPEECH 2010

Die INTERSPEECH Konferenz fand dieses Jahr in Tokyo statt. INTERSPEECH ist die weltweit grĂ¶ĂŸte Konferenz im Bereich Sprachverarbeitung. Die meisten VotrĂ€ge behandeln dabei die Sprachsynthese und Spracherkennung. In den letzten Jahren hat sich aber auch die Emotionserkennung aus Sprache als weitere SĂ€ule etabliert und ist Thema verschiedener Sessions. Unser Beitrag war in der “Paralinguistic Challenge”, einer Special Session am letzten Tag.

Letzte Woche war die Recommender Systems in Barcelona. Die Konferenz fand zum mittlerweile 4.Mal statt und hat dieses Mal zum ersten Mal die 200er-Grenze fĂŒr Einreichungen ĂŒberschritten. Die Annahmequoten lagen dabei fĂŒr full paper bei 19,4% und fĂŒr short paper bei 41%.

Der Schwerpunkt der Konferenz liegt momentan noch ganz klar auf der Verbesserung der Algorithmen. Nachdem aber Vielen klar ist, dass es hier momentan nur noch minimalste Verbesserungen gibt kam auch die Frage vermehrt auf, ob langsam die Zeit anbricht, dass die Forschung in die Richtung HRI (Human-Recommender-Interaction) verstĂ€rkt werden sollte. Auffallend war bereits jetzt, dass hĂ€ufig die Stichworte “Trust”, “Explanation” und auch “User-Control” gefallen sind. Und mit Joseph Konstan, der u.a. fĂŒr die MovieLens-Datenbank mitverantwortlich ist, die von einem Großteil der Forscher als Testdatenbank fĂŒr ihre Algorithmen genutzt wird, hat ein richtiges “Schwergewicht” im Bereich Recommender Systems mit seinem Tutorial und mit seinen Äußerungen innerhalb eines Workshop-Panels klargemacht, dass die HCI im Bereich Recommender Systems immer wichtiger wird und dass er hofft, dass es in den kommenden RecSys-Konferenzen nicht mehr nur Workshops in diesem Bereich gibt. Und auch Pearl Pu hat innerhalb des Workshops “User-Centric Evaluation of Recommender Systems and Their Interfaces” mit einem Vortrag, einer sehr interessanten Keynote und innerhalb des Panels mit Joseph Konstan einige sehr interessante und inspirierende Dinge erzĂ€hlt. Ich hoffe deswegen, dass ich bald an die Paper und Folien des UCERSTI-Workshops komme.

Unser Poster ĂŒber den MED-Styler war ĂŒbrigens, wie ich finde, ein großer Erfolg. Die meisten Leute, die mich angesprochen haben, waren zwar etwas skeptisch wegen des doch heiklen Themas Medizin – zwei Leute haben mir sogar von eigenen Erfahrungen und  ihren Problemen bei der Suche nach medizinischen Partner erzĂ€hlt-, Sie waren aber gleichzeitig auch alle sehr interessiert eine Arbeit zu sehen, die sich nicht mit den Empfehlungen von Filmen oder Musik beschĂ€ftigt und mit neuen Problemen, wie der Motivation und der Überzeugung der Patienten zu Änderungen in ihrem Lebensstil, zu kĂ€mpfen hat. Und ich denke gerade in solchen Arbeiten ist es wichtig sich nĂ€her mit der obengenannten HRI auseinanderzusetzen.

  • Cross-cultural Studie auf CALLAS Korpus:
    1. vergleichbare Erkennungsraten fĂŒr “within-culture”, d.h. Training und Test auf deutschem bzw. italienschem Korpus; in beiden Korpora Sprachfeature leicht besser als Gesichtsfeature
    2. deutlicher Abfall fĂŒr “cross-culture”, d.h. trainiert mit deutschem, getestet mit italienischem Korpus und umgekehrt – da die QualitĂ€t der Aufzeichnung zwischen den Kulturen konsistent ist (die Audio Files wurden nochmals normiert um dies sicherzustellen) weist dies offensichtlich daraufhin, dass es Unterschiede im Ausdruck der Emotionen zwischen den Kulturen gibt; Gesichtsfeature eignen sich hierbei noch etwas besser als Sprachfeature
    3. Erkennungsraten erholen sich wieder fĂŒr “universal”, d.h. Training und Test auf dem gesamten Korpus und sind wieder vergleichbar mit “within-culture”
    4. Fusion: wie auch bei vorherigen Studien schlĂ€gt “Cascading Specialists” Standardfusion fĂŒr “within-culture” und “universal”, versagt jedoch offensichtlich fĂŒr “cross-culture”, da er nicht die richtigen Spezialisten fĂŒr die jeweils andere Kultur finden kann – dies unterstĂŒtzt nochmals die These, dass Unterschiede im Ausdruck der Emotionen zwischen den beiden Kulturen existieren
  • Papier fĂŒr BInterface mit Ergebnissen der Cross-cultural Studie fertiggestellt
  • Erstellung von Folien und Poster fĂŒr INTERSPEECH in Tokio (siehe Bild)

  • Die Italien Daten des Callas Corpus sind nun annotiert und in SSI ausgewertet
  • Somit stehen deutsche und italienische DatensĂ€tze nun vollstĂ€ndig zur Evaluierung bereit
  • Ein Paper zu Cross-Cultural Emotion Recognition – Europe (Unterschiede deutsch-italienisch-expressivity, cross-classification und Möglichkeiten eines universellen, multi-modalen Frameworks) ist bereits in groben ZĂŒgen geschrieben und sollte nĂ€chste Woche fertig werden
  • Das Paper ist fĂŒr Jonghwa’s B-Interface Workshop im Rahmen der BIOSIGNALS und BIOSTEC 2011 angedacht
  • BCBT – Barcelona Cognition, Brain and Technology (Summer School)
  1. Wie erwartet waren die Tutorien von Dr. Charles Fox die fĂŒr uns interessantesten. Grundlegende Bayes’sche Netzwerke und entsprechende Erweiterungen wurden gut und verstĂ€ndlich eingefĂŒhrt und an praktischen Besipielen erklĂ€rt.
  2. Die dazugehörigen Folien stammen aus einem von Dr. Charles Fox gehaltenen Kurs und sind hier unter dem Abschnitt ‘Teaching’ erhĂ€ltlich.
  3. Wer gerne Hand an Bayes’sche Netzwerke legen möchte, fĂŒr den sind im selben Abschnitt praktische Aufgaben und eine Matlab – Toolbox enthalten.
  • Die Italien – Daten des Callas Corpus sind nun konvertiert und können annotiert werden
  • BCBT – Barcelona Cognition, Brain and Technology (Summer School)
  1. Die bisher gehörten VortrĂ€ge geben einen breiten Überblick bezĂŒglich der Anatomie des Gehirns und dem momentanen Stand der Forschung bezĂŒglich der Entwicklung mathematischer Modelle zur Nachbildung von AktivitĂ€ten des Gehirns.
  2. FĂŒr uns bisher am interessantesten: KlĂ€rung von Konzepten wie “Consciousness” und deren Anwendung fĂŒr die Entwicklung moderner Software. Genauer beschĂ€ftigte sich der Vortrag von Ricardo Sanz (Mental Architecture: Autonomy, Emotion, Cognition and Consciousness) mit dem notwendigen Übergang von Artificial Intelligence (AI) zum Artificial Mind (AM). Hierzu kommen Techniken zum Einsatz die uns am ehesten an die Self-X Eigenschaften aus dem Bereich Organic Computing erinnern.
  3. Leider stellen die Tutorien bisher nur weitere VortrĂ€ge dar, eine praktische EinfĂŒhrung in den Umgang mit beschriebener Sensorik (speziell EEG) gab es unglĂŒcklicherweise nicht.
  4. Die VortrĂ€ge und Tutorien bzgl. Bayesian Networks folgen nĂ€chste Woche und werden fĂŒr uns wahrscheinlich den meisten Nutzen bringen …
  5. Schöne GrĂŒsse von Social Events am Strand bis dahin 🙂
  • Meta Classification Techniques
  1. Nach Abschluss des Journal-Papers (Multimodale Fusionsmethoden, Handling Missing Data) haben wir uns mit den theoretischen Grundlagen der Meta-Klassifikation beschÀftigt.
  2. Wichtigste Grundlagen und weiterfĂŒhrende Literatur: Stacked Generalization, Issues in Stacked Generalization, Towards Understanding Stacking
  3. Benötigte Algorithmen sind bisher teilweise in Matlab implementiert, Einbindung in SSI folgt. Erste Experimente mit “Stacking with Multiple Linear Regression” auf dem Callas Corpus zeigen vergleichbare Ergebnisse zu den bisher verwendeten Ensemble Techniken aber noch keine Verbesserung; der Ansatz Meta-Daten zur Klassifikation zu verwenden scheint allerdings Möglichkeiten zur Verbesserung bestehender Algorithmen sowie zur Entwicklung neuer Herangehensweisen zu ermöglichen. Weitere Experimente werden also in KĂŒrze folgen …
  • Begutachtung TAC Papier “Pleasureable Affective State Recognition Using Non-Linear Feature Transformation”
  • Vorbereitung des Aufzeichnungstool fĂŒr Masterarbeit von Daniela Ungureanu (Video, Audio, Eye-Tracker, Rsp, SC, BVP)
  • Optionale SSI Aufgabe fĂŒr Elite StudiengĂ€nger zur Notenverbesserung (Feature Selection based on Correlation)

An interesting approach to 3D Multi-touch:

Here also maybe have a closer look at MT4j http://mt4j.org/mediawiki/index.php/Main_Page

A work that goes beyond visual feedback http://www.youtube.com/watch?v=DVlHrySzcJI

I collected some videos about facial animations through FACS (Facial Action Coding System) in real-time for virtual characters: http://www.youtube.com/user/docnero#grid/user/8A4CC39781EBD595

And I also like the system done by Nicolas Stoiber that recognizes the current emotional state through facial expressions from a user mapped to an emotion disc and mimicked by a virtual character: http://nicolas.stoiber.free.fr/research.html

Autodesk hat im Rahmen seiner Education Community Schulungsmaterial veröffentlicht, das schrittweise durch den 3D-Gestaltungsprozess fĂŒhrt. Das besondere sei hier, dass die einzelnen Arbeitsschritte aus kĂŒnstlerischer Sicht motiviert werden.

Das Àhnelt meiner Moodmapper-Idee.

Der fĂŒr das Sommersemester geplante Kurs Character-Design wurde von mir diese Woche angekĂŒndigt und in die offiziellen Datenbanken eingetragen. Der Kurs soll auch eine – fĂŒr meine Dis nĂŒtzliche – Aufarbeitung des Themas Character-Design sein. Spontan zeigte sich in der AnkĂŒndigung innerhalb der Veranstaltung allerdings das Problem, dass einige Interessenten nĂ€chstes Semester schon im Master studieren und daher die Veranstaltung nicht belegen können, die fĂŒr Bachelors ausgerichtet ist.

Veranstaltungsbeschreibung

Zudem habe ich die Idee des visuellen Toolkits als Bachelorarbeit ausgeschrieben.

Arbeitsbeschreibung

The world we sense is haptic and ui’s should provide more haptic too.. so a very good article about how haptic works http://electronics.howstuffworks.com/gadgets/other-gadgets/haptic-technology.htm

The first day of ITS 2009 is over and interesting work has been presented. Also keynote speaker ken perlin gave an inspiring talk. What’s worth mentioning is that i had the chance to meet Prof. Antonio KrĂŒger too hehe

That’s keynote speaker ken perlin:
CIMG1213

An inspiring Microsoft Surface extension from the demo session:
CIMG1227

The best burger in town:
CIMG1200

A mountain view… kinda pieceful.. isn’t it?
CIMG1203

Here you can see.. it’s veeeery coooold…
CIMG1199

A nice GUI concept http://10gui.com

and a nice essay about territoriality in collaborative tabletop workspaces http://www.medien.ifi.lmu.de/lehre/ws0607/mmi1/essays/Jennifer-Buettgen.xhtml

A student (Polo) of our university discoverd a video of a nice board game from “Visual Story TAs” that is realized on the Surface. It’s just work in progress, but see yourself.

Resources:

1 visitors online now
0 guests, 1 bots, 0 members
Max visitors today: 1 at 12:11 am UTC
This month: 13 at 06-21-2017 01:30 am UTC
This year: 32 at 01-07-2017 04:41 am UTC
All time: 86 at 06-27-2016 07:47 pm UTC