Simulação imersiva em realidade virtual para treinamento de instrumentação cirúrgica.
O VisionSurge é uma plataforma de treinamento em Realidade Virtual desenvolvida para capacitar instrumentadores cirúrgicos em um ambiente seguro, imersivo e controlado. O sistema simula atividades de instrumentação cirúrgica permitindo que estudantes e profissionais pratiquem repetidamente sem riscos ao paciente e sem depender da disponibilidade de centros cirúrgicos reais. Desenvolvido durante um Hackathon com foco em inovação para a área da saúde.
O treinamento tradicional de instrumentação cirúrgica apresenta diversos desafios. O aprendizado ocorre principalmente por observação, com poucas oportunidades de prática em um ambiente seguro. Além disso, os custos operacionais são elevados e há uma forte dependência de ambientes reais para o treinamento. A repetição de procedimentos é limitada, o que dificulta o desenvolvimento de habilidades, e existe o risco de erros durante o processo de aprendizagem.
O VisionSurge utiliza Realidade Virtual para criar cenários de treinamento que tornam o aprendizado mais seguro, prático e eficiente. Por meio de simulações cirúrgicas imersivas, os profissionais podem praticar procedimentos sem riscos ao paciente, repetir atividades quantas vezes forem necessárias e receber feedback imediato sobre seu desempenho. Além disso, a plataforma oferece métricas detalhadas para acompanhamento da evolução e promove uma aprendizagem baseada na experiência prática.
O projeto foi desenvolvido para atender estudantes da área da saúde, instrumentadores cirúrgicos em formação e profissionais que buscam aprimorar suas habilidades práticas. Também é direcionado a cursos técnicos, instituições de ensino, hospitais, clínicas e centros de treinamento que necessitam de soluções eficazes para capacitação. A plataforma permite que equipes pratiquem o reconhecimento, a seleção e a entrega correta de instrumentos cirúrgicos em um ambiente seguro e controlado, contribuindo para o desenvolvimento técnico e a redução de erros durante o aprendizado.
No ambiente virtual, o usuário assume uma perspectiva em primeira pessoa e interage com objetos presentes em um centro cirúrgico.
O fluxo principal da experiência é:
- o usuário entra no ambiente cirúrgico virtual;
- o médico solicita um instrumento por áudio;
- o usuário localiza o instrumento correto;
- o usuário pega o instrumento com controle VR;
- o instrumento é entregue ao médico;
- o sistema valida se a entrega está correta ou incorreta.
Optamos por utilizar o modelo padrão disponibilizado pela plataforma Homero por sua simplicidade facilidade de navegação e otimização de processo.
- Ambiente cirúrgico 3D navegável;
- Simulação em primeira pessoa;
- Interação com instrumentos cirúrgicos;
- Solicitação de instrumentos por áudio;
- Entrega de instrumentos ao médico;
- Validação de acerto ou erro;
- Suporte estrutural a XR;
- Configuração para uso com simulador de óculos VR no Unity.
| Tecnologia | Versão | Função |
|---|---|---|
| Android (Meta Quest OS) | 2.4 | Plataforma alvo de deploy |
| Assets 3D em formato FBX | — | Modelagem e representação visual dos instrumentos cirúrgicos e elementos do cenário |
| C# | — | Linguagem de programação dos scripts de interatividade |
| Meta XR SDK | 201.0.0 | SDK para interação VR no Meta Quest |
| OpenXR | 1.16.1 | Camada de abstração multiplataforma para XR |
| TextMesh Pro | 3.2.0-pre.15 | Renderização de texto de alta qualidade nos totens |
| Unity | 6000.3.13f1 (Unity 6) | Engine principal de desenvolvimento |
| Unity Input System | 1.18.0 | Sistema de entrada para controles do Quest |
| Universal Render Pipeline (URP) | 17.3.0 | Pipeline de renderização otimizado para VR |
| Unity Input System | — | Sistema de entrada para controles do Quest e captura de interações do usuário |
| XR Plugin Management | 4.5.4 | Gerenciamento e integração dos provedores XR utilizados pelo projeto |
- ✅ Sistema de solicitação de instrumentos
- ✅ Identificação de instrumentos cirúrgicos
- ✅ Feedback por áudio
- ✅ Tutorial guiado
- ✅ Avaliação de acertos e erros
- ✅ Ambientes imersivos em VR
VisionSurge/
├── .vscode/
├── Assets/
│ ├── Audio/
│ ├── Oculus/
│ ├── Plugins/
│ ├── prefabs/
│ ├── Resources/
│ ├── Scenes/
│ ├── Script/
│ ├── Settings/
│ ├── TextMesh Pro/
│ ├── texture/
│ ├── XR/
│ └── XRI/
├── Packages/
├── ProjectSettings/
├── .gitattributes
├── .gitignore
└── VisionForge.slnx
A cena principal do projeto está localizada em:
Assets/Scenes/SampleScene.unityOs scripts do projeto estão localizados em:
Assets/Script/Principais arquivos:
AreaEntrega.cs
AreaProximidade.cs
Instrumentos.cs
MedicoPedido.cs
NarraçãoTutorial.cs
TipoInstrumento.cs| Script | Função no projeto |
|---|---|
AreaEntrega.cs |
Controla a lógica relacionada ao momento de entrega do instrumento. |
AreaProximidade.cs |
Gerencia a detecção de proximidade entre usuário, objetos e áreas de interação. |
Instrumentos.cs |
Representa os instrumentos disponíveis na simulação. |
MedicoPedido.cs |
Controla os pedidos feitos pelo médico durante a experiência. |
NarraçãoTutorial.cs |
Estrutura relacionada a narração/áudio, embora a versão atual seja descrita como sem tutorial. |
TipoInstrumento.cs |
Define ou organiza os tipos de instrumentos utilizados na validação. |
Os modelos 3D estão localizados principalmente em:
Assets/prefabs/Entre os assets utilizados estão:
- bisturi;
- pinça;
- afastador;
- tesoura;
- bandeja cirúrgica;
- cama/leito;
- carrinho médico;
- monitor cardíaco;
- luminária cirúrgica;
- armários;
- portas;
- cadeira de rodas;
- elementos de parede, piso e estrutura hospitalar.
Alguns modelos 3D utilizados no projeto são assets externos de apoio, e foram respeitadas suas respectivas licenças e autorias.
- Clone o repositório:
git clone https://github.com/SEU-USUARIO/VisionSurge.git-
Abra o Unity Hub.
-
Clique em Add project from disk.
-
Selecione a pasta do projeto clonado.
-
Aguarde o Unity resolver os pacotes do projeto.
-
Abra a cena principal:
Assets/Scenes/SampleScene.unity- Execute a cena pelo botão Play no Unity Editor.
https://drive.google.com/file/d/1hEupUU-fgu_LEOFDDBDBZqolJp8kwqOy/view?usp=sharinghttps://youtu.be/f82-_1KnRwshttps://drive.google.com/file/d/1bQC-aDVh_a5gyEyo463o9F7a8T4Znrsv/view?usp=drive_link- Simulação prática em ambiente cirúrgico;
- Uso de realidade virtual para treinamento seguro;
- Interação com instrumentos médicos;
- Validação de acerto e erro;
- Aplicação em formação profissional;
- Experiência mais envolvente do que uma apresentação tradicional;
- Possibilidade futura de expansão para novos procedimentos, níveis e instrumentos.
Por se tratar de um MVP, esta versão possui algumas limitações:
- execução atual apenas em simulador VR no Unity;
- sem tutorial inicial;
- escopo limitado a interações básicas com instrumentos;
- ambiente e assets ainda em estágio de protótipo;
- sem sistema de login, banco de dados ou métricas avançadas.
- Geração de build para Meta Quest;
- Inclusão de tutorial guiado;
- Adição de novos instrumentos cirúrgicos;
- Sistema de pontuação;
- Registro de tempo de resposta;
- Histórico de acertos e erros;
- Níveis de dificuldade;
- Feedback visual e sonoro mais completo;
- Painel de desempenho para instrutores;
- Expansão para outros cenários de treinamento hospitalar.
Durante o desenvolvimento e documentação do projeto, foram utilizadas ferramentas de inteligência artificial generativa como apoio. Ferramentas utilizadas:
- ChatGPT.
Finalidades de uso:
- apoio na organização da documentação;
- estruturação do README;
- revisão textual;
- apoio na clareza da proposta;
- organização da narrativa do projeto para apresentação.
A IA foi utilizada como ferramenta auxiliar. As decisões de projeto, implementação, organização da experiência e validação final permaneceram sob responsabilidade da equipe.
O projeto utiliza assets 3D de apoio em formato FBX para compor o ambiente cirúrgico e seus objetos. Quando aplicável, os modelos externos foram creditados e utilizados respeitando suas respectivas licenças de uso e autorias.
Equipe VisionForge
| Integrante | Participação |
|---|---|
| Carlos André Távora Soares | Desenvolvimento, documentação e estruturação da proposta |
| Raí Rodrigues | Desenvolvimento, apoio técnico e documentação |
| Eduardo martins | Desenvolvimento, apoio técnico e documentação |
| Ismael Lopes | Desenvolvimento, apoio técnico e documentação |
VisionSurge
Uma experiência imersiva para treinar reconhecimento e entrega de instrumentos cirúrgicos em ambiente virtual.
Versão: 1.0
Status: MVP funcional em ambiente Unity
Execução: Simulador VR no Unity
Build final: não disponível nesta versãoEste projeto foi desenvolvido para fins acadêmicos e demonstrativos no contexto do HackWeb / ExpoVerse. A definição de licença pública poderá ser ajustada posteriormente pela equipe.
VisionSurge — treinar antes do ambiente real.