Glass: um assistente de IA para desktop que observa e organiza informações em tempo real

O Glass é um assistente de IA de desktop de código aberto desenvolvido pela equipe do Pickle. Ele é executado em segundo plano no computador do usuário, observa o conteúdo da tela e o áudio em tempo real, classifica automaticamente as informações e fornece ajuda instantânea. Diferentemente dos chatbots tradicionais, o Glass não exige que o usuário faça perguntas, mas analisa o conteúdo no qual o usuário está trabalhando e fornece conselhos ou conhecimentos relevantes. O projeto está hospedado no GitHub, com 1,8 mil estrelas e 323 bifurcações, além de uma comunidade ativa de desenvolvedores que podem contribuir com código ou sugerir melhorias. No momento, o Glass é compatível com o macOS e é fácil de instalar para quem precisa organizar com eficiência suas informações diárias.

Lista de funções

• Observação da tela em tempo real: o Glass monitora continuamente o conteúdo da tela do usuário para analisar documentos, páginas da Web ou interfaces de aplicativos.
• Reconhecimento de conteúdo de áudio: ouça a fala do usuário ou o áudio do ambiente para extrair informações importantes.
• Agrupamento de informações e geração de conhecimento: transformação de dados de tela e áudio em conhecimento estruturado, gerando notas ou recomendações.
• Execução em segundo plano: o Glass funciona automaticamente em segundo plano para fornecer ajuda em tempo real sem ações iniciadas pelo usuário.
• Suporte de código aberto: hospedado no GitHub, permitindo que os usuários visualizem o código, enviem problemas ou contribuam com recursos.
• Compatível com o macOS: projetado para o macOS, de fácil instalação e operação leve.

Usando a Ajuda

Processo de instalação

No momento, o Glass é compatível apenas com o macOS e requer um ambiente Node.js para instalação. Aqui estão as etapas detalhadas de instalação:

1. Verificação da versão do Node.js
   Abra um terminal e digite o seguinte comando para verificar a versão do Node.js:

   node --version
   

   O Glass requer o Node.js 20.x.x. Se ele não estiver instalado ou se a versão não corresponder, é recomendável usar o nvm Instalação:

   curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash
   nvm install 20
   nvm use 20
   

   Quando a instalação estiver concluída, execute-a novamente node --version Verifique se a versão é 20.x.x.

2. Projeto Clonagem de Vidro
   Clone o repositório GitHub do Glass no Terminal:

   git clone https://github.com/pickle-com/glass.git
   

   Vá para o catálogo de projetos:

   cd glass
   

3. Instalação de dependências
   Execute o seguinte comando no diretório do projeto para instalar as dependências necessárias:

   npm install
   

4. Configuração das chaves da API da OpenAI
   O Glass requer uma chave de API OpenAI para oferecer suporte à funcionalidade de IA. Os usuários precisam visitar o site oficial da OpenAI para obter a chave. Etapas:
   • entrar Site da OpenAIRegistre-se ou faça login na sua conta.
   • Vá para a página API Key Management para gerar uma nova chave de API.
   • Copie a chave para um arquivo de configuração no diretório do projeto Glass (consulte o repositório do GitHub para obter instruções sobre como fazer isso, geralmente o arquivo .env (Documentação).
     Para obter um tutorial de configuração mais detalhado, consulte o guia em vídeo fornecido pela equipe do Pickle. [](https://github.com/pickle-com/glass)
5. Vidro de corrida
   Quando a configuração estiver concluída, inicie o Glass executando o seguinte comando no diretório do projeto:

   npm start
   

   O Glass será iniciado na área de trabalho do macOS e continuará a funcionar em segundo plano quando estiver em execução.

Principais recursos do uso do vidro

A principal função do Glass é observar a tela e o áudio do usuário em tempo real e fornecer ajuda inteligente. Veja a seguir o procedimento operacional detalhado:

1. Observação em tempo real na tela
   Quando o Glass é ativado, ele monitora automaticamente o conteúdo da tela. Por exemplo, se um usuário estiver editando um documento ou navegando em uma página da Web, o Glass analisará o texto, as imagens ou as tabelas da página para extrair informações importantes.
   • método operacionalO Glass é um aplicativo que é executado automaticamente quando é iniciado, sem necessidade de configuração adicional. Quando o usuário abre qualquer aplicativo (por exemplo, navegador, Word ou editor de código), o Glass exibe uma pequena janela no canto inferior direito mostrando as informações ou sugestões extraídas.
   • exemplo típicoQuando um usuário escreve um artigo sobre IA, o Glass detecta a palavra-chave "inteligência artificial" e fornece automaticamente uma definição ou um link para as pesquisas mais recentes.
2. Reconhecimento de conteúdo de áudio
   O Glass ouve a voz do usuário ou o áudio ambiente, o que o torna ideal para gravação de reuniões ou cenários de anotações por voz.
   • método operacionalVerifique se o microfone está conectado e autorize o acesso ao Glass. Quando um usuário fala ou reproduz áudio em uma reunião, o Glass converte a fala em texto e extrai os destaques.
   • exemplo típicoDiscussão do plano do projeto em uma reunião no Zoom e o Glass gerará um resumo da reunião, listando tarefas e prazos.
3. Organização de informações e geração de conhecimento
   O Glass integra dados de tela e áudio em conhecimento estruturado, gerando anotações, listas de tarefas ou sugestões.
   • método operacionalO Glass organiza as informações em segundo plano e as exibe em uma pequena janela, sem que o usuário precise fazer nada manualmente. Ao clicar em uma nota na janela, é possível salvá-la como um arquivo de texto ou exportá-la para outras ferramentas (por exemplo, Notion).
   • exemplo típicoEnquanto o usuário está navegando na Web, o Glass detecta um artigo técnico e gera notas com o título, o resumo e os pontos principais.
4. Operações de back-office e ajuda ao vivo
   O Glass foi projetado para ser uma ferramenta leve, que utiliza poucos recursos e é adequada para longas corridas.
   • método operacional: Após a inicialização, o Glass está sempre em segundo plano, e o usuário pode usar as teclas de atalho (padrão) Cmd + G) para abrir ou ocultar a janela.
   • exemplo típicoSe o usuário encontrar um erro durante a programação, o Glass detecta o código de erro e sugere uma possível solução ou fornece um link para o Stack Overflow.
5. Contribuições da comunidade e feedback sobre problemas
   O Glass é um projeto de código aberto, e os usuários podem participar do desenvolvimento ou fornecer feedback por meio do GitHub.
   • método operacional: Acesso Repositórios do GitHubSe você quiser enviar uma sugestão de bug ou recurso, clique na guia "Issues" (Problemas). Os usuários também podem bifurcar o repositório, modificar o código e enviar uma solicitação pull.
   • exemplo típicoSe achar que o Glass está sendo exibido de forma anormal em telas de alta resolução, você pode criar um problema no GitHub descrevendo o problema e anexando capturas de tela.

advertência

• negócios privadosO Glass requer acesso à tela e ao áudio, e os usuários são aconselhados a lê-lo com atenção. Política de privacidade da Pickle Entenda como os dados são processados.
• Requisitos do sistemaNo momento, apenas o macOS é compatível, as versões para Windows e Linux ainda não foram lançadas.
• Suporte à comunidadeJoin Pickle's Comunidade do Discord Ou siga sua conta no X para obter atualizações.

cenário do aplicativo

1. procedimentos
   O Glass é para usuários que precisam gravar reuniões com eficiência. Ele ouve o áudio da reunião em tempo real, gera resumos e listas de tarefas e reduz o tempo gasto com anotações manuais.
   Por exemplo, se um gerente de produto discute o progresso do desenvolvimento em uma reunião diária, o Glass pode gerar automaticamente uma tabela com tópicos, leads e prazos.
2. Estudo e pesquisa
   À medida que um estudante ou pesquisador navega por páginas da Web ou literatura acadêmica, o Glass extrai as principais informações e gera anotações ou listas de referência.
   Por exemplo, ao ler um artigo sobre aprendizado de máquina, o Glass organizará as principais fórmulas e conclusões para facilitar a revisão.
3. Auxiliares de programação
   À medida que os desenvolvedores escrevem o código, o Glass pode detectar erros ou fornecer sugestões para otimização do código.
   Por exemplo, quando o Python informa um erro, o Glass analisa a mensagem de erro e recomenda uma correção.
4. Gerenciamento de tarefas diárias
   O Glass ajuda os usuários a organizar informações para tarefas diárias, como extrair listas de tarefas de e-mails ou documentos.
   Por exemplo, se um usuário receber um e-mail com uma agenda de reuniões, o Glass gera automaticamente um lembrete de calendário.

QA

1. Quais sistemas são compatíveis com o Glass?
   Atualmente, apenas o macOS é compatível, mas as versões para Windows e Linux estão em desenvolvimento.
2. Como a privacidade é protegida?
   O Glass requer permissões de tela e áudio, e os dados são processados de acordo com a Política de Privacidade da Pickle. Os usuários podem suspender ou desativar as permissões a qualquer momento.
3. Preciso de uma conta da OpenAI?
   Sim, o Glass precisa ser configurado com uma chave de API da OpenAI para oferecer suporte à funcionalidade de IA. Os usuários podem obtê-la no site oficial da OpenAI.
4. Como posso me envolver no desenvolvimento do Glass?
   entrevistas Repositórios do GitHubA comunidade está aberta a todas as contribuições.