Pesquisa e desenvolvimento

NeuroLab Vision · frente de pesquisa

Medir o olhar exige saber quando não medir.

Instrumento de pesquisa e registro de comportamento visual observável por webcam comum, para estudos de interação humano-computador, usabilidade e documentação profissional.

Em desenvolvimento aberto · sistema integrado em STRL 4, função crítica em STRL 3 · sem validação clínica · não é dispositivo médico

Ver o que já funciona Propor uma colaboração

Animação ilustrativa do cenário de ensaio previsto para a etapa com crianças, que depende de aprovação de comitê de ética e de sítio formalizado. Não é captura do sistema, e os rótulos não representam medições realizadas.

O repositório em números

  • 89commits na linha principal
  • 34decisões de arquitetura registradas
  • 46ADRs na bancada sintética
  • 125documentos de experimento
  • 800+testes automatizados
  • 5.335arquivos conferidos por hash na trilha D1
  • M0–M3marcos concluídos, com M4 em fechamento

Contagens de 19/09/2026, na linha principal da plataforma e na bancada de sujeito sintético. São números de obra, não de desempenho — o desempenho medido está mais abaixo, com a condição em que foi obtido.

Escopo declarado

O que este instrumento faz — e o que ele não faz

Faz

  • Registra direção do olhar em zonas amplas da tela, fixações e tempo com face e olhos disponíveis, durante atividades mediadas por tela.
  • Declara, quadro a quadro, se há dado utilizável — e declara ausência quando não há.
  • Processa no próprio dispositivo: o vídeo não sai da máquina.
  • Exporta em formato aberto, com proveniência por hash.
  • Reproduz a sessão sem armazenar vídeo.

Não faz

Não se destina a diagnosticar, prevenir, monitorar, tratar ou aliviar qualquer doença, condição ou transtorno, nem à investigação, observação ou monitoramento de processo ou estado fisiológico ou patológico com propósito médico, nem a orientar decisão clínica. Suas saídas não são medidas de atenção, engajamento, cognição ou estado emocional. Não é dispositivo médico e não substitui avaliação profissional.

A população escolhida para os ensaios — crianças em atividades mediadas por tela — é escolhida por ser o caso mais exigente de cabeça livre e ausência de clique. É condição de teste, nunca indicação de uso.

O que já funciona

Seis capacidades que já estão de pé

Estimar a direção do olhar a partir de uma webcam é um problema antigo e disputado; existem dezenas de tentativas públicas. O que falta quase sempre é a outra metade do problema: saber quando o número produzido não vale nada. Uma oclusão, um contraluz, um deslocamento da cabeça ou um enquadramento ruim degradam o sinal de formas que não aparecem no resultado final — e o resultado sai mesmo assim, com exatamente a mesma aparência de um bom resultado.

O NeuroLab Vision tratou essa lacuna como o objeto central do trabalho, e é aí que está a maior parte do que já foi construído. As seis capacidades abaixo estão implementadas, exercitadas por teste automatizado, e nenhuma delas depende da função crítica que continua em aberto.

Quality gate e proveniência declara ausência de dado e sela o registro por hash

Ilustrativo — não é captura de uma sessão real.

Grava uma vez, julga para sempre

Um roteiro de 91 segundos é gravado uma única vez e reproduzido como câmera do navegador quantas vezes for preciso. Duas variantes de algoritmo passam a ser julgadas sobre exatamente o mesmo material físico, e não sobre duas execuções humanas diferentes — porque o mesmo operador nunca repete o mesmo movimento.

O efeito foi medido, não afirmado: em cinco execuções, os instantes de clique concordaram em 5,3 ms e o desvio-padrão entre execuções caiu 77% no bloco de rotação e 86% no de deslizamento. Uma verificação que antes terminava inconclusiva passou a terminar completa. É a capacidade mais madura do sistema.

A qualidade que declara ausência, com motivo

Cada capacidade — face, rotação de cabeça, região ocular, olhar na tela — é habilitada ou bloqueada separadamente, sempre com um código de motivo e uma versão de política que viajam junto com o resultado. Não existe nota global de qualidade: bloquear o olhar não bloqueia a rotação da cabeça.

A regra não é documental, é estrutural: o contrato recusa montar um estado degradado ou bloqueado sem pelo menos um motivo, e recusa anexar motivo a um estado utilizável. Quando confiança ou qualidade não podem ser estabelecidas, o valor permanece unknown. É o que separa "não mediu" de "mediu zero".

O arquivo que não carrega ninguém dentro

O registro de uma sessão fica apenas em memória e só vira arquivo por ato deliberado, com a câmera já desligada; recarregar a página apaga o que não foi exportado. O cabeçalho declara quatro invariantes fixos: sem vídeo, sem imagens, sem pontos de referência completos, sem identidade.

Na volta, o arquivo é reconferido por esquema, referências, limites, bytes e hash dentro de um worker, e a linha do tempo é reconstruída sem pedir câmera e sem reexecutar modelo algum. É privacidade por construção verificável, não cláusula de termo de uso.

Evidência que não aceita palavra

Todo experimento tem manifesto imutável definido antes da execução, e manifesto, entradas, modelo, configuração e resultado são identificados pelo SHA-256 dos bytes efetivamente usados. Terminar com código de saída zero explicitamente não basta para promover uma execução.

Em 12/09/2026 isso foi exercitado: repositórios, interpretador e navegadores recompostos em uma raiz separada, 5.335 arquivos conferidos por hash e três verificadores congelados reexecutados com recibo, incluindo 141 de 141 testes. O próprio registro declara o limite em campo booleano: mesma máquina, sem revisão independente.

O critério foi escrito antes — e hoje reprova o próprio time

Antes de medir, o critério que decide se uma variante do estimador é aceitável foi congelado em código, com limiares versionados e veredicto emitido junto da evidência.

Hoje esse critério reprova todas as variantes, inclusive a que está em uso como referência — e o projeto publicou duas reprovações próprias com o mecanismo da falha nomeado, em vez de afrouxar o juiz. Fechar por evidência própria uma família inteira de soluções clássicas custou dois dias, no lugar de três a seis semanas de migração.

O instrumento que se mede a si mesmo

Quando o estimador não entregou o esperado, o projeto não trocou de modelo: construiu um modo que percorre o mesmo vídeo sem calibrar e mede os parâmetros do próprio aparelho a partir dos marcos reais, quadro a quadro.

Os números saíram — o detector desloca a íris 1,75 px por grau de giro da cabeça, o canal de pose reporta o giro 1,94× maior que o real, e sua distância focal efetiva é 395,06 px contra os 600 px que o sistema assumia. É por isso que o problema em aberto tem causa declarada em número, e não em adjetivo.

As primitivas de fixação e de zonas amplas da tela estão implementadas no ramo de pesquisa e ainda não integradas à linha principal. O domínio não depende de fabricante nem de modelo: a mesma camada aceita um fluxo vindo de outro instrumento, bastando escrever o adaptador de entrada.

Marcos

Quatro marcos concluídos e um fechando

O trabalho é organizado em marcos com escopo escrito antes e aceite automatizado. Este é o estado de cada um, com o número medido e a condição em que ele foi obtido.

  1. M0

    Fundação

    Concluído

    Contratos, monorepo e verificação automatizada desde o primeiro dia: um único comando roda formatação, análise estática, verificação de tipos, testes e build. O repositório carrega 34 decisões de arquitetura numeradas e datadas, cada uma com a seção de limites preenchida.

  2. M1

    Webcam e marcos faciais

    Concluído

    Captura sob gesto explícito, detector de terceiro isolado em worker, sobreposição visual e diagnósticos — com aceite automatizado em navegador usando câmera sintética. O processamento local não é intenção de projeto: é superfície testável.

  3. M2

    Rotação de cabeça, abertura ocular e quality gate

    Concluído

    Dois benchmarks aprovados em 25/08/2026. Três repetições contrabalanceadas de 120 s por variante: 22,6 quadros por segundo medianos, p95 de 30,7 ms e zero saída de rede em todas as execuções — verificada como portão, não afirmada.

  4. M3

    Sessões e linha do tempo

    Concluído

    Gravador local limitado, exportação por ato deliberado, importação estrita com reconferência de bytes e hashes dentro de um worker, e linha do tempo navegável com reprodução que nunca reexecuta modelo.

  5. M4

    Calibração de olhar

    Fechando

    Coordenador determinístico, enquadramento de cabeça em duas fases, guarda de superfície proporcional, rajada que trocou 27 gestos de calibração por 9 sem alterar o que chega ao cálculo, bancada sintética e a plataforma de vídeo roteirizado. Pendem o aceite físico de duas fatias e o portão final. A função crítica em aberto está dentro deste marco — não é o marco inteiro.

Todos os números de desempenho acima foram medidos com entrada sintética, em um único computador de escritório com navegador headless. Erro medido sobre entrada sintética não representa o desempenho do sistema com uma pessoa na frente da câmera.

Arquitetura

Como está construído

  1. Webcamsó liga por gesto explícito
  2. Capturaquadro entregue ao processamento local
  3. Marcos faciaisem worker separado, fora da interface
  4. Registro normalizadocontrato próprio, com relógio e proveniência
  5. Quality gatehabilita ou bloqueia cada capacidade, com motivo
  6. Features e eventossó sobre trecho declarado utilizável
  7. Sessão e linha do tempoexport aberto, selado por hash, sem vídeo

O domínio não depende de nenhum fabricante ou modelo específico: os adaptadores ficam isolados dos contratos. O vídeo não sai da máquina em nenhuma etapa.

Uso hoje

O que um grupo de pesquisa já consegue fazer com isto

Nenhum dos quatro usos abaixo depende de acurácia de olhar. Todos usam camadas que já estão construídas, e todos respondem a uma pergunta que hoje quase nenhum estudo com webcam consegue responder.

Saber se a melhoria foi do algoritmo ou da execução

Para quem desenvolve estimativa de comportamento por câmera e precisa comparar duas versões do próprio algoritmo. A pergunta: esta mudança melhorou o resultado, ou eu simplesmente me mexi diferente desta vez?

Grava-se o protocolo uma única vez e rodam-se N variantes como câmera do navegador. A diferença entre os números é a diferença entre os algoritmos, porque o material de entrada é idêntico bit a bit. Rodadas que custavam dezenas de minutos de operação humana passam a custar minutos de execução automática.

Reportar a taxa de dado utilizável, não só a média

Para laboratórios de usabilidade e de interação humano-computador que já usam um detector de terceiro e hoje obtêm o mesmo número com ou sem oclusão, contraluz ou cabeça fora de faixa. A pergunta: este trecho do registro sustenta alguma afirmação, ou é ruído com aparência de dado?

O quality gate separa, no próprio arquivo de saída, os segundos em que havia face e olhos disponíveis dos segundos em que não havia, com o motivo declarado e a política versionada. Sem essa separação, um trecho de oclusão e um trecho de valor baixo entram na mesma média — e a média mente.

Documentar uma sessão sem reter a imagem da pessoa

Para quem precisa responder a um comitê de ética ou a um encarregado de dados antes de coletar, ou cuja instituição proíbe imagem facial trafegando para servidor de terceiro. A pergunta: como registro o que aconteceu sem guardar o vídeo?

O arquivo exportado declara em invariantes fixos o que ele não pode conter, e é reconferido byte a byte na volta; a sessão reabre numa linha do tempo navegável meses depois, sem pedir câmera e sem reexecutar modelo. "O vídeo não sai da máquina" é propriedade verificável da página: uma biblioteca popular de visão computacional foi recusada justamente porque exigiria afrouxar essa política.

Testar um detector antes de recrutar participante

Para grupos que desenvolvem ou auditam detectores de pose e precisam de um controle em que a resposta certa é conhecida por construção. A pergunta: meu detector responde como deveria a uma rotação de cabeça conhecida, ou confunde rotação com deslocamento lateral?

A bancada de sujeito sintético gera a geometria verdadeira a partir dos parâmetros da cena, escrita antes de qualquer imagem existir e nunca inferida dos pixels renderizados. O próprio repositório declara que não é um simulador de olhar qualificado: a bancada serve para encontrar falha, não para provar acerto.

Problema em aberto

O que ainda não funciona

Há uma função crítica que este projeto ainda não entrega: estimativa de olhar utilizável com a cabeça livre e sem clique. As duas condições são deliberadas. «Cabeça livre» porque prender a cabeça resolve o problema no laboratório e o inviabiliza em qualquer uso real. «Sem clique» porque a calibração padrão exige que a pessoa clique em pontos na tela — um gesto que a população de ensaio mais exigente não executa de forma confiável.

O estado é este, e está registrado. O aceite físico terminou inconclusivo: nenhuma das variantes de regressão produziu tracking utilizável. O gate de vazamento pré-registrado reprova todas as variantes atuais. Isso foi medido em um operador e um vídeo — um operador e um vídeo não são uma amostra; são o limite honesto do que foi medido.

1,75 px por grau
deslocamento da íris causado pela rotação da cabeça, no detector usado
1,94×
sobre-reporte do ângulo horizontal pelo canal de pose, neste operador e pipeline

A causa não é opinião: foi medida. O efeito somado é que o movimento da cabeça vaza para dentro da estimativa de olhar e se confunde com ela. Uma família inteira de soluções clássicas — o modelo tridimensional do globo ocular — foi construída com código próprio, medida sobre vídeo real e reprovada no critério pré-registrado. O resultado negativo está registrado em decisão de arquitetura datada, com o mecanismo da falha descrito; fechar a via custou dois dias em vez de três a seis semanas de migração.

O degrau seguinte não se sobe sozinho. Falta validação com pelo menos dez participantes contra um instrumento de referência independente, sob protocolo de ética — e é exatamente aí que a pesquisa precisa de uma instituição com laboratório, comitê e instrumento. Publicamos isso porque um problema em aberto descrito com precisão vale mais, para quem lê, do que uma promessa sem número.

Maturidade

Em que estágio isto está

Um instrumento de pesquisa que não declara o próprio estágio é um folheto. Este é o estágio, na escala de maturidade tecnológica adotada pelo sistema EMBRAPII:

  • STRL 3 — função crítica: olhar utilizável com cabeça livre e sem clique. Algoritmos executados e testados em laboratório; aceite físico inconclusivo e gate de vazamento reprovando as variantes atuais em um operador.
  • STRL 4 — sistema integrado: captura → marcos faciais → quality gate → sessão → replay determinístico.
  • STRL 4–5 — subsistema de sessão e replay.

A escada de validação tem cinco degraus: banco sintético de engenharia → autoteste do próprio operador → dados humanos gravados e reproduzidos, quando permitido → estudo humano formal com governança e ética → validação científica. Passar em um degrau não implica passar no seguinte, e o projeto está hoje entre o segundo e o terceiro. Os limiares usados no autoteste são de desenvolvimento, não validados, e não constituem acurácia.

Limites declarados

O que ainda não afirmamos

Declarar limite não enfraquece o resultado: é o que permite confiar no que sobra.

Nada disto passou por revisão independente

Todas as medições foram executadas por uma pessoa, em uma máquina, com o próprio instrumento. A trilha de reprodutibilidade de 12/09/2026 recompõe a evidência em uma raiz separada da mesma máquina: o registro marca sameHost: true e independentReview: false. O repositório diz, em inglês, que a trilha "ainda aguarda revisão independente do fechamento e de seus limites". Não é reprodução em máquina nova, não é sandbox de segurança e não é revisão científica independente.

O único modelo em execução é de terceiro

O sistema executa um único modelo de visão computacional desenvolvido por terceiro, em modo CPU, dentro de um worker dedicado, e publicamos o hash SHA-256 do arquivo efetivamente executado: proveniência autodeclarada não é evidência, os bytes servidos é que são verificados. Não há modelo próprio treinado neste produto. A verificação de licença para redistribuição permanece exigida antes de qualquer distribuição, e por isso citamos o hash sem hospedar o arquivo.

  • Não existe nenhum número de acurácia de olhar em humanos. Os aceites físicos terminaram inconclusivos e o critério pré-registrado reprova as variantes atuais.
  • A acurácia da via que observa a pálpebra não foi medida: o benchmark mede custo, cadência, memória e ciclo de vida; a fixture não contém um fechamento de pálpebra real e o sinal temporal correspondente continua indisponível.
  • Custo, cadência e memória foram medidos com fixture facial inteiramente sintética de 640×480 a 30 quadros por segundo, num único computador de escritório com navegador headless.
  • Os limiares usados no autoteste são de desenvolvimento, não validados, e não constituem acurácia.
  • Zerar os gestos de calibração é frente aberta: foi tentado duas vezes e reprovado nas duas, com o mecanismo da falha nomeado. O padrão continua sendo o gesto do operador, protegido por teste.

Cada uma dessas linhas nasceu de uma medição que o projeto fez e publicou, inclusive quando o resultado foi contra ele.

Colaboração

O degrau seguinte precisa de laboratório, comitê e instrumento

A validação com participantes, contra rastreador de referência e sob protocolo de ética, é trabalho de instituição de ciência e tecnologia. Se o seu grupo de pesquisa trabalha com interação humano-computador, usabilidade ou instrumentação, há conversa a ter.

iury.coelho@iisa.com.br

Responsável técnico: Iury Anderson Fernandes Coêlho, engenheiro de computação, CREA-PB nº 12566782026PB. IISATECH Soluções em Tecnologia Ltda., CNPJ 65.081.397/0001-39, São João do Rio do Peixe, Paraíba.