L’interfaccia uomo-macchina costituisce un paradigma di interfaccia con i sistemi artificiali, in particolare il computer, che nel tempo si è definito e sviluppato per superare la differente natura funzionale della interazione e comunicazione tra le macchine (artificiali) e gli esseri umani (naturali). La natura astratta delle macchine, qualsiasi esse, siano, elettroniche, meccaniche, elettromeccaniche, ecc., ha fatto sorgere nel tempo la problematica di interazione con la macchina da parte dell’uomo e la conseguente ricerca di soluzioni efficienti ed efficaci per rendere pratica tale interazione. L’interfaccia uomo-macchina, nella sua implementazione, si ispira alla natura dell’interazione umana che prevalentemente è di tipo sensoriale (visiva, uditiva e tattile). Inizialmente i primi dispositivi di interazione che hanno consentito di creare le interfacce uomo-macchina, erano di natura hardware (bottoni, tasti e lampade) che con l’avvento dei computer diventarono tastiere, prima numeriche poi alfanumeriche, e i display. Grazie a tali dispositivi è stato possibile per gli esseri umani interagire ad alto livello con macchine a basso livello di rappresentazione delle informazioni (per esempio il livello binario dei primi computer). Nella prima fase dello sviluppo dell’interfaccia uomo-macchina, la tastiera ha rappresentato la prima forma di interfaccia verso la macchina. La macchina per scrivere, typewriter (esempio di natura completamente meccanica) utilizzò la tastiera alfanumerica per consentire all’utilizzatore di comunicare alla macchina da scrivere la codifica alfabetica delle parole in termini di azionamento dei martelletti che battevano sul rullo di scrittura. Successivamente il livello hardware dell’interfaccia uomo-macchina fu integrato da quello software grazie allo sviluppo delle tecnologie di elaborazione dell’informazione consentite dalla sempre maggiore potenza computazionale disponibile nei sistemi basati su computer. L’introduzione del mouse consentì di passare in breve tempo dall’interfaccia di linea o Cli (Command line interface) basata su tastiera alfanumerica e display alfanumerico a quella grafica o Gui (Graphic user interface) basata sul mouse e sul display grafico. Nella prima fase dello sviluppo dell’elettronica, i sistemi utilizzavano tastierini numerici o sistemi di codifica numerica elettromeccanici (per esempio i dischi di codifica a impulsi delle cifre nei telefoni di prima generazione), e sistemi di visualizzazione luminosa delle cifre (display a 7 segmenti) per consentire l’interazione con l’utilizzatore ancorché a bassissimo livello.
La rivoluzione del touchscreen
L’evoluzione dell’interfaccia uomo macchina nel tempo si è attuata attraverso innovazioni di natura hardware e software che si sono succedute nel tempo in conseguenza dell’evoluzione della tecnologia microelettronica. L’introduzione dei display touchscreen, prima per i sistemi desktop, poi per i sistemi palmtop, ha dato un nuovo impulso innovativo allo sviluppo dell’interfaccia uomo-macchina, conferendo a questa un livello di naturalezza che ha portato alla definizione di un nuovo paradigma di interfaccia uomo-macchina, la cosiddetta Natural user interface, basata su tecnologie computazionali di riconoscimento gestuale. Ulteriori tecnologie come quelle di motion-sensing basate sui dispositivi accelerometrici Mems e sulle piattaforme di sensing multi-dimensionali (accelerometro, giroscopio e magnetometro), hanno consentito, soprattutto sui dispositivi mobili, di realizzare Hmi molto avanzate. La Hmi naturale, cioè la Nui (Natural user interface) ha iniziato a concretizzarsi con i primi hardware e software capaci di riconoscimento e sintesi vocale e di riconoscimento di immagini. Queste tecnologie di interazione naturale con i sistemi artificiali hanno avuto particolare sviluppo sulle piattaforme di computing palmare, in particolare gli smartphone, grazie alla notevole potenza di calcolo di cui tali dispositivi sono dotati e che tali dispositivi possono ottenere dalla rete. L’utilizzo delle risorse computazionali della rete, ovvero il Cloud computing, ha consentito l’implementazione di sistemi di riconoscimento vocale come Siri di Apple, impossibili da implementare in modalità embedded sullo smartphone, considerando le sue limitate possibilità computazionali relativamente alla complessità della problematica del riconoscimento vocale real-time.
Interazione diretta con il cervello
L’evoluzione della Hmi non si è fermata alla Natural user interface, ma si è proiettata nel futuro, quasi fantascientifico della Brain machine interface, come risultato delle recenti ricerche eseguite nel campo delle neuroscienze, che hanno dimostrato che è possibile interagire direttamente con le macchine utilizzando i segnali bioelettrici generati dal cervello umano nella sua componente cognitiva (cioè il pensiero). Iniziati negli anni ’70 presso la University of California Los Angeles, le prime ricerche sulla Brain computer interface, nel giro di pochi decenni sono stati dimostrati metodi e tecnologie di interazioni dirette verso i computer prodotte da segnali neurali catturati con metodi prima invasivi (elettrodi impiantati) poi semi-invasivi (elettrodi a contatto), recentemente non invasivi (campi elettromagnetici, ultrasuoni). L’ultima frontiera consiste nell’impianto diretto di chip nella corteccia cerebrale finalizzato alla cattura e all’elaborazione dei segnali neurali generati dalle attività di comunicazione e di formazione del pensiero negli esseri umani. In un recente esperimento di chip impiantato nel cervello umano si sono ottenuti sorprendenti risultati di comunicazione tra uomo e macchina tramite il pensiero e l’ancora più sorprendente scoperta di assenza di rigetto da parte del cervello dell’impianto che, dopo un periodo significativo di tempo di permanenza, è stato integrato dal tessuto neurale con neuroni che sono cresciuti sulla superfice del chip come fa la vegetazione di una foresta sugli oggetti in essa abbandonati. L’ultima frontiera dell’interfaccia Hmi è la connessione diretta al cervello tramite elettrodi o chip che catturano i segnali bioelettrici prodotti dai neuroni quando si sviluppano processi cognitivi (produzione di pensieri e linguaggio) che la neuro-scienziata Divya Chander ha presentato alla recente conferenza SingolarityU.
Visualizzazione e interazione gestuale
L’Hmi è diventata così importante nei sistemi basati su computer, tanto che con lo sviluppo massivo dei sistemi embedded è diventata una delle componenti funzionali primarie, cui i principali sviluppatori e produttori di tecnologie microelettroniche per sistemi embedded hanno posto particolare attenzione, sviluppando componenti a supporto degli sviluppatori. Ciò è stato giustificato soprattutto dalla complessità computazionale dell’interfaccia uomo-macchina e dalla difficoltà di sviluppo su piattaforme applicative dotate di risorse scarse come i sistemi embedded, nonché, dai tempi di sviluppo estremamente limitati tipici dei sistemi embedded. Un caso emblematico di componente microelettronico pensato per supportare in maniera efficace ed effettiva lo sviluppo dell’interfaccia Hmi nei sistemi embedded di ultima generazione, è la famiglia di chip FT81x di Ftdi, un chip innovativo che supporta lo sviluppo dell’interfaccia grafica includendo la dimensione multimediale (video/audio/gesto) dell’informazione oggetto d’interazione. I dispositivi della famiglia FT81x sono dei motori di grafica computazionale che affiancano il processore principale del sistema embedded senza sottrarre a questo potenza computazionale per eseguire le onerose operazioni di grafica computazionale e di gestione dell’interazione, attuando in maniera rapida ed efficace anche l’interazione 3D su display tradizionali. Il vantaggio per lo sviluppatore è enorme in termini di riduzione del tempo di sviluppo, in quanto le più importanti e onerose operazioni di grafica e di interazione (per esempio la conversione da Jpeg a bitmap delle immagini e la generazione e il controllo della sintesi dei suoni sono funzioni precodificate ed eseguite dall’hardware del chip FT81x. Senza dubbio l’FT81x è un Hmi-engine che consente di sviluppare in pochi minuti livelli di interfaccia Hmi di elevata complessità e altissima qualità, che diversamente, utilizzando gli strumenti tradizionali, richiederebbe ore, giorni o mesi di sviluppo, nonché l’impossibilità di ottenere prestazioni real-time soddisfacenti, soprattutto se la Mcu è impegnata in task onerosi come l’esecuzione di un kernel di Rtos o processi di comunicazione e di data management. L’FT81x è un vero e proprio System-on-Chip in quanto integra in un solo dispositivo sottosistemi hardware peculiari come il controllo dell’interfaccia Mcu, il controllo e la gestione della memoria, il controllore grafico, quello audio e quello touch.
La nuova dimensione dell’interazione gestuale
L’interazione gestuale, come componente di interazione dell’interfaccia Hmi, si è concretizzata con l’introduzione della funzione touch nei display di seconda generazione che hanno consentito un primo, ancorché primitivo, gesture recognition. Il gesture recognition basato sul contatto, ha mostrato tutti i suoi limiti, soprattutto in termini di versatilità e di generalizzazione del gesto, oltre che scarsa naturalezza (per esempio, nei sistemi di navigazione ove l’interazione touch con il sistema evidenzia la problematica classificata come “gorilla harm sindome”, cioè la difficoltà di interazione con un display touch verticale, per la difficoltà a tenere stabile un braccio teso con un dito che tenta di puntare su una icona). L’introduzione da parte di Microchip della tecnologia di gesture recognition GestIC, ha cambiato il paradigma dell’interazione gestuale dal tocco al gesture senza tocco, estendendo in maniera enorme le possibilità di esecuzione e interpretazione dei gesti nella direzione della naturalezza. GestIC è un dispositivo controller a supporto della Mcu per l’implementazione di un’interfaccia gestuale senza contatto con la superficie del display, in quanto basato sull’interazione tramite uno spazio costituito da un campo elettrico con cui l’utente interagisce con i gesti. Il più recente dei dispositivi che ingloba la tecnologia di riconoscimento gestuale GestIC è l’MGC3030/3130 Tracking and Gesture Controller. Questo controller integra su un solo chip sia la tecnologia mixed-signal di controllo delle variazioni di un campo elettrico tramite cinque elettrodi di cui quattro per le coordinate orizzontali (x,y) e uno centrale per la coordinata verticale (z), sia la tecnologia di signal processing per l’esecuzione delle funzioni di pattern recognition per il riconoscimento dei gesti in 3D. Il chip integra un Dsp dedicato e una memoria Rom di pattern predefiniti e precodificati come gesti utili all’interazione con il sistema.
Interazione naturale tramite audio
Nell’evoluzione della interfaccia uomo-macchina l’utilizzo della componente audio rappresenta il più avanzato livello di sviluppo nella direzione dell’interfaccia naturale. L’audio (in particolare la voce) ha una serie di peculiarità che gli altri media informativi (come video e gesture) non hanno (per esempio non richiede all’utente di assumere una specifica posizione nei confronti dell’interfaccia (come orientare il braccio o la mano nella direzione perpendicolare al display, oppure posizionare la testa con l’asse visivo in direzione del sistema di visualizzazione o di cattura delle immagini). A tale scopo sono stati sviluppati da Microsemi una serie di chip a supporto dell’interazione audio e per lo sviluppo della Hmi per i sistemi embedded. In particolare il chip ZL38080 che fa parte della famiglia di processori audio ZL380 di Microsemi , consente di implementare interfacce vocali per l’interazione a mani libere in ambito automotive.
