Capacidades
Inteligência Física
LABORATÓRIO · CAPACIDADES EM AVALIAÇÃO
Estender perceção, decisão e ação desde os sistemas digitais até ao mundo físico.
Numa página
Trabalhamos com visão artificial, sensórica, fusão de sinais, estimação de estado, simulação, navegação, planeamento de movimento, controlo, manipulação e computação edge. Exploramos como integrar estas capacidades com modelos, software e sistemas operacionais em tarefas e ambientes físicos definidos.
- 01Percecionar é estimar. Uma câmara entrega imagens.
- 02Visão artificial para compreender geometria e estado. A visão pode identificar, localizar, medir e seguir elementos do ambiente.
- 03Fusão de sinais e estimação de estado. Os sensores trazem forças diferentes.
Uma operação física muda o ambiente. Para a realizar, o sistema relaciona medidas parciais, uma estimativa do estado, objetivos, restrições e mecanismos capazes de atuar.
Um robô desloca-se, aproxima uma ferramenta, recolhe um objeto, modifica uma posição ou coordena o seu movimento com outras máquinas. A ação ocorre sob geometria, tempo, atrito, folgas, carga, ruído, latência e limites mecânicos.
A inteligência física permite que um sistema relacione perceção e ação dentro dessas condições. Esta linha estende a inteligência operacional ao mundo físico a partir do Laboratório.
A informação continua a ser a base. O sistema precisa de conhecer o objetivo, o estado, as restrições e a autoridade. A diferença é que agora parte dessa informação provém de medidas incompletas e parte do resultado deve ser verificada sobre um ambiente que muda.
Percecionar é estimar
Uma câmara entrega imagens. Uma IMU entrega acelerações e velocidades angulares. Um encoder entrega posições ou incrementos. O sistema converte essas medidas parciais numa estimativa do estado com a confiança necessária para decidir.
A estimação combina medidas, modelos e contexto para responder:
- onde se encontra o robô;
- que orientação tem;
- que objeto observa;
- com que confiança;
- que movimento se produziu;
- que parte do ambiente permanece incerta;
- que sinal contradiz outro;
- que correção convém aplicar;
- quando a estimativa já não permite continuar.
Tratar a perceção como estimação permite desenhar comportamentos proporcionais à confiança. O sistema pode continuar, reduzir a velocidade, procurar uma referência, mudar de sensor, alargar a observação, solicitar intervenção, voltar a uma posição segura ou parar.
A incerteza é uma variável que modifica a operação.
Visão artificial para compreender geometria e estado
A visão pode identificar, localizar, medir e seguir elementos do ambiente.
Trabalhamos com deteção, segmentação, classificação, estimação de pose, marcadores e referências visuais, calibração, correspondências, profundidade, seguimento, inspeção, leitura de instrumentos e relação entre imagem e modelo geométrico.
A utilidade depende de condições concretas: iluminação, distância, movimento, frequência, resolução, oclusão, ótica, superfície, latência e capacidade de computação.
Avaliamos a visão dentro do percurso físico: que decisão muda, que tolerância necessita e o que acontece quando o sinal falta ou chega tarde. Uma métrica obtida sobre imagens selecionadas descreve essas imagens; o comportamento durante uma operação mede-se na operação.
Fusão de sinais e estimação de estado
Os sensores trazem forças diferentes.
A odometria conserva continuidade e acumula erro. Uma referência visual pode corrigir deriva e aparecer de forma intermitente. Uma IMU traz dinâmica e também ruído. Um encoder absoluto pode oferecer uma dimensão de estado especialmente valiosa.
Fundimos sinais consoante a sua frequência, incerteza e relação geométrica. A arquitetura conserva marcas temporais, referenciais, calibrações, covariâncias ou medidas de confiança, transformações, atrasos, validade, origem e estado de saúde do sensor.
Em MontojOS, por exemplo, a continuidade do movimento pode sustentar-se com odometria e IMU e corrigir-se através de referências visuais quando estão disponíveis. O sistema conserva o estado durante a ausência temporária de visão e sabe como a incerteza cresce enquanto ela dura.
Representar o ambiente e o corpo
O planeamento necessita de uma representação de geometria, articulações, limites, ferramentas, cargas, zonas permitidas, obstáculos, estações, tolerâncias, contactos, capacidades de movimento e estados seguros.
A representação liga o modelo digital ao equipamento físico. Uma trajetória válida num modelo pode necessitar de ajustes por flexão, folga, desgaste, cablagem, carga, fricção, tolerância de fabrico, calibração, inércia, deformação e elementos não modelados.
Por isso distinguimos geometria nominal, parâmetros identificados e comportamento observado. O efeito de um comando depende do estado, da carga, da geometria, das tolerâncias e do ambiente.
Simulação para aprender antes do hardware
A simulação permite explorar comportamentos, gerar cenários e avaliar decisões com maior velocidade e menor custo físico: validar geometria, detetar colisões, testar controladores, comparar sequências, gerar dados, estudar sensibilidade, treinar políticas, reproduzir falhas, avaliar coordenação e preparar campanhas de ensaio.
Newton e NVIDIA Warp alargam a capacidade de construir simulações aceleradas por GPU e de integrar física, geometria e computação paralela dentro do ecossistema Python.
A simulação traz um ambiente controlado. O hardware traz fenómenos e tolerâncias que o modelo ainda não contém.
O percurso de maturidade liga ambos:
Cada etapa responde a perguntas diferentes. O passo seguinte é habilitado através de critérios explícitos.
Navegação e mobilidade
Um sistema móvel precisa de estimar a sua pose, representar rotas e zonas, planear, seguir uma trajetória, responder a obstáculos, aproximar-se com precisão, coordenar o movimento com o resto da operação e conservar capacidade de paragem e recuperação.
Trabalhamos com navegação que combina odometria, IMU, referências visuais, mapas ou geometria conhecida, controlo cinemático, controlo preditivo, correções terminais, perfis de velocidade e estados de missão.
A navegação geral e a aproximação final podem necessitar de controladores diferentes. O cruzeiro prioriza continuidade e eficiência. A fase terminal prioriza erro lateral, longitudinal e angular em relação à tarefa.
O critério de êxito consiste em colocar o sistema numa condição a partir da qual a ação física seguinte possa executar-se com a tolerância necessária.
Planeamento e otimização de movimento
O planeamento procura uma trajetória que cumpra objetivos e restrições: posição, orientação, colisões, limites articulares, velocidade, aceleração, jerk, tempo, energia, estabilidade, carga, zonas proibidas e capacidade de recuperação.
cuRobo permite acelerar em GPU tarefas como cinemática inversa, verificação de colisões, geração de trajetórias e planeamento de movimento. A aceleração alarga o número de alternativas que o sistema pode examinar dentro do tempo disponível.
A seleção final conserva geometria real, ferramentas, payload, tolerâncias, limites do controlador, segurança e verificação.
Em MagdalenOS, o planeamento pode combinar backends especializados com uma representação própria do equipamento e das suas restrições.
Controlo preditivo e adaptação
Um controlador converte uma referência em ações sobre o sistema. O controlo preditivo utiliza um modelo para antecipar a evolução durante um horizonte e escolher ações que respeitem restrições.
Pode ser útil em seguimento de trajetória, navegação, aproximação, estabilização, manipulação, coordenação e gestão de limites. A eficácia depende da fidelidade do modelo, da frequência, da latência e da capacidade de estimar o estado.
Trabalhamos com controlo geométrico, controlo P, PD e combinações, MPC, identificação de planta, controlo com restrições, perfis de velocidade, supervisão, fallback e paragem segura.
O controlo avalia-se sobre erro, estabilidade, tempo, esforço, recuperação e comportamento sob perturbações.
Manipulação e mecanismos
Uma operação de manipulação liga geometria, posição, orientação, contacto, ferramenta, carga, sequência, atuadores, sensores e verificação.
O sistema distingue aproximação, contacto, preensão, transporte, libertação, recuo e posição segura. Uma ação pode exigir coordenação entre base, braço, mecanismo linear, ímanes, tesouras, carro, elevação ou outros atuadores.
A sequência conserva estados e critérios de transição. A aquisição ou libertação do objeto confirma-se através de um sinal próprio: encoder, corrente, sensor de posição, visão, mudança de carga, estado do atuador ou observação posterior.
Edge: decidir perto do ambiente
Parte da perceção e do controlo precisa de executar-se localmente.
O edge traz baixa latência, continuidade durante perdas de rede, acesso direto a sensores, controlo de frequência, privacidade, capacidade de paragem e maior autonomia em relação a serviços remotos.
Trabalhamos com plataformas como NVIDIA Jetson e outras arquiteturas GPU ou embebidas. A distribuição pode separar:
- Local
- Perceção crítica, estimação, controlo, limites, paragem, buffers e recuperação imediata.
- Remoto
- Planeamento global, análise, treino, reporting, armazenamento, supervisão e coordenação de alto nível.
Os limites dessa divisão desenham-se a partir de latência, conectividade, segurança e custo de computação.
Agentes e operações físicas
Os agentes podem ajudar a interpretar objetivos, escolher competências, coordenar missões, consultar conhecimento, diagnosticar, preparar recuperação, explicar, pedir ajuda e adaptar um plano dentro de limites.
A trajetória física crítica permanece protegida por controladores, estados e políticas que podem ser verificados. Um agente pode decidir entre ações declaradas; os componentes deterministas mantêm limites de movimento, permissões, interlocks, paragem, sequências críticas, contratos e critérios de conclusão.
Esta distribuição permite aproveitar interpretação e planeamento conservando as restrições físicas em componentes verificáveis.
Coordenação de equipamentos
A Inteligência Física pode estender-se de uma máquina a uma operação coordenada.
O sistema representa equipamentos, capacidades, localizações, tarefas, recursos, dependências, zonas, prioridades, disponibilidade, falhas, estado de carga e interfaces com pessoas.
A orquestração atribui trabalho e conserva a situação global. Cada equipamento mantém controlo local suficiente para operar de forma segura. A coordenação pode combinar workflows, eventos, otimização, agentes, planeamento, telemetria e supervisão humana.
Verificar a ação sobre o ambiente
Uma operação física termina quando o ambiente permite observar o seu efeito.
A verificação pode responder:
- o robô chegou à pose útil?;
- o objeto está preso?;
- a carga mudou?;
- a estação recebeu o elemento?;
- o mecanismo regressou a uma posição segura?;
- o ambiente ficou preparado para a operação seguinte?;
- a máquina pode continuar?;
- criou-se uma condição que necessita de intervenção?
Um sinal independente aumenta a confiança: a mesma cadeia que envia o comando informa da sua própria execução, e a verificação do efeito necessita de outra observação.
Desenhamos o critério de êxito junto com a tarefa e incorporamo-lo na avaliação.
Segurança, paragem e recuperação
A segurança estrutura a operação física.
Desenhamos limites, zonas, velocidades, estados seguros, interlocks, supervisão, paragem, recuperação, intervenção, registo de incidentes e ensaios.
A capacidade de parar e voltar a uma condição conhecida faz parte do resultado.
As ações classificam-se por impacto, reversibilidade, energia, proximidade, confiança, autoridade e capacidade de observação. Uma ação de maior consequência exige mais evidência, controlo e separação entre planeamento e execução.
O que pode mudar para uma organização
Perceção ligada a decisões
A visão e os sensores deixam de produzir unicamente deteções e passam a modificar uma operação definida.
Maior continuidade local
O sistema pode conservar perceção e controlo durante variações de conectividade.
Melhor precisão em tarefas delimitadas
A fusão de sinais e a correção terminal ajudam a alcançar tolerâncias úteis para manipulação, inspeção ou interação.
Menos incerteza oculta
O estado e a sua confiança tornam-se observáveis e condicionam o comportamento.
Planeamento mais rápido
GPU, simulação e otimização permitem examinar mais alternativas dentro do tempo disponível.
Operações verificáveis
Cada sequência incorpora um sinal que permite distinguir comando e efeito.
Aprendizagem mais segura
Simulação, HIL e campanhas em ambiente permitem descobrir limites antes de alargar a autonomia.
Integração digital e física
As operações físicas podem ligar-se a ERP, workflows, eventos, pessoas e reporting.
Linhas de trabalho
Visort
Visão artificial, geometria, deteção, estimação e execução em edge.
MagdalenOS
Representação de equipamento, planeamento, cinemática, manipulação, simulação e coordenação robótica.
MontojOS
Navegação, fusão de sinais, aproximação terminal, mecanismos físicos e verificação de operações em estações definidas.
Como avaliamos
- Perceção
- Precisão, recall, erro geométrico, frequência, latência, calibração e comportamento por condição.
- Estimação
- Erro de posição e orientação, deriva, estabilidade, confiança e recuperação depois de perda de sinal.
- Planeamento
- Taxa de solução, tempo, colisões, suavidade, margem, cumprimento de restrições e viabilidade física.
- Controlo
- Erro, estabilidade, tempo, sobreelevação, esforço, perturbações e recuperação.
- Operação
- Percentagem de percursos completos, duração, novas tentativas, intervenções, estados inseguros e resultado verificado.
- Simulação
- Correspondência com hardware, cobertura de cenários e capacidade de reproduzir falhas.
- Segurança
- Paragem, limites, interlocks, recuperação e resposta a sinais inválidos.
- Maturidade
- Estado por capacidade, equipamento, tarefa e ambiente.
Estado de maturidade
Laboratório · capacidades em avaliação.
Visort, MagdalenOS e MontojOS permitem integrar perceção, estimação, planeamento, controlo e mecanismos dentro de percursos físicos definidos.
Cada capacidade avança através de simulação, ensaios de software e hardware, campanhas em ambiente e critérios específicos de precisão, segurança, recuperação e resultado.
A web declara o estado por tarefa e ambiente. Esta forma de apresentar a maturidade permite alargar a ambição mantendo cada demonstração dentro do seu âmbito.
Fecho
A Inteligência Física liga o conhecimento da tarefa a uma estimativa do mundo e converte essa estimativa em ações sob restrições. O seu valor aparece quando o sistema pode percecionar, decidir, atuar, verificar e aprender dentro do ambiente em que terá de operar.
O que construímos e investigamos
- 01observar através de visão e sensores
- 02estimar o estado
- 03representar o ambiente
- 04planear
- 05otimizar uma trajetória
- 06controlar
- 07manipular
- 08coordenar equipamentos
- 09atuar localmente
- 10verificar o efeito
- 11recuperar ou parar o sistema quando a incerteza ultrapassa o permitido
Da medida à verificação