Glass: ein Desktop-KI-Assistent, der Informationen in Echtzeit beobachtet und organisiert

Glass ist ein Open-Source-Desktop-KI-Assistent, der vom Pickle-Team entwickelt wurde. Er läuft im Hintergrund des Computers des Nutzers, beobachtet Bildschirminhalte und Audio in Echtzeit, sortiert automatisch Informationen und bietet sofortige Hilfe. Glass unterscheidet sich von herkömmlichen Chatbots dadurch, dass der Nutzer keine Fragen stellen muss, sondern aktiv analysiert, womit sich der Nutzer beschäftigt, und entsprechende Ratschläge oder Wissen bereitstellt. Das Projekt wird auf GitHub gehostet, mit 1,8k Sternen und 323 Forks, und einer aktiven Gemeinschaft von Entwicklern, die gerne Code beisteuern oder Verbesserungen vorschlagen können. glass wird derzeit auf macOS unterstützt und ist einfach zu installieren für diejenigen, die ihre täglichen Informationen effizient organisieren müssen.

Funktionsliste

• Echtzeit-Bildschirmbeobachtung: Glass überwacht kontinuierlich den Inhalt des Benutzerbildschirms, um Dokumente, Webseiten oder Anwendungsschnittstellen zu analysieren.
• Erkennung von Audioinhalten: Hören Sie sich die Sprache des Benutzers oder Umgebungsgeräusche an, um wichtige Informationen zu extrahieren.
• Informationssammlung und Wissensgenerierung: Umwandlung von Bildschirm- und Audiodaten in strukturiertes Wissen, Erstellung von Notizen oder Empfehlungen.
• Läuft im Hintergrund: Glass arbeitet automatisch im Hintergrund und bietet so Hilfe in Echtzeit, ohne dass der Benutzer etwas tun muss.
• Open-Source-Unterstützung: gehostet auf GitHub, so dass Benutzer den Code einsehen, Probleme einreichen oder Funktionen beitragen können.
• macOS-kompatibel: Entwickelt für macOS, einfache Installation und leichter Betrieb.

Hilfe verwenden

Einbauverfahren

Glass wird derzeit nur auf macOS unterstützt und erfordert für die Installation eine Node.js-Umgebung. Hier sind die detaillierten Installationsschritte:

1. Überprüfen der Node.js-Version
   Öffnen Sie ein Terminal und geben Sie den folgenden Befehl ein, um die Node.js-Version zu überprüfen:

   node --version
   

   Glass erfordert Node.js 20.x.x. Wenn dies nicht installiert ist oder die Version nicht übereinstimmt, wird empfohlen, die nvm Einbau:

   curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash
   nvm install 20
   nvm use 20
   

   Sobald die Installation abgeschlossen ist, führen Sie sie erneut aus node --version Prüfen Sie, ob die Version 20.x.x lautet.

2. Projekt Klonen von Glas
   Klonen Sie das GitHub-Repository von Glass in Terminal:

   git clone https://github.com/pickle-com/glass.git
   

   Rufen Sie den Projektkatalog auf:

   cd glass
   

3. Installation von Abhängigkeiten
   Führen Sie den folgenden Befehl im Projektverzeichnis aus, um die erforderlichen Abhängigkeiten zu installieren:

   npm install
   

4. OpenAI-API-Schlüssel konfigurieren
   Glass benötigt einen OpenAI-API-Schlüssel, um KI-Funktionen zu unterstützen. Benutzer müssen die offizielle OpenAI-Website besuchen, um den Schlüssel zu erhalten. Schritte:
   • sich anmelden OpenAI-Website, registrieren Sie sich oder melden Sie sich bei Ihrem Konto an.
   • Rufen Sie die Seite API-Schlüsselverwaltung auf, um einen neuen API-Schlüssel zu generieren.
   • Kopieren Sie den Schlüssel in eine Konfigurationsdatei im Glass-Projektverzeichnis (eine Anleitung dazu finden Sie im GitHub-Repository, in der Regel die .env (Dokumentation).
     Eine ausführlichere Anleitung zur Konfiguration finden Sie in der Videoanleitung des Pickle-Teams. [](https://github.com/pickle-com/glass)
5. Laufendes Glas
   Sobald die Konfiguration abgeschlossen ist, starten Sie Glass, indem Sie den folgenden Befehl im Projektverzeichnis ausführen:

   npm start
   

   Glass wird auf dem macOS-Schreibtisch gestartet und arbeitet im Hintergrund weiter, sobald es läuft.

Hauptmerkmale der Verwendung von Glas

Die Kernfunktion von Glass besteht darin, den Bildschirm und das Audiosignal des Benutzers in Echtzeit zu beobachten und intelligente Hilfe zu leisten. Im Folgenden finden Sie eine detaillierte Beschreibung der Funktionsweise:

1. Beobachtung in Echtzeit auf dem Bildschirm
   Wenn Glass aktiviert ist, überwacht es automatisch den Inhalt des Bildschirms. Wenn ein Nutzer zum Beispiel ein Dokument bearbeitet oder eine Webseite durchsucht, analysiert Glass den Text, die Bilder oder die Tabellen auf der Seite, um wichtige Informationen zu extrahieren.
   • ArbeitsweiseGlass ist eine Anwendung, die beim Starten automatisch ausgeführt wird, ohne dass eine zusätzliche Einrichtung erforderlich ist. Wenn der Nutzer eine beliebige Anwendung (z. B. Browser, Word oder Code-Editor) öffnet, zeigt Glass in der rechten unteren Ecke ein kleines Fenster mit den extrahierten Informationen oder Vorschlägen an.
   • typisches BeispielWenn ein Nutzer einen Artikel über künstliche Intelligenz schreibt, erkennt Glass das Schlüsselwort "künstliche Intelligenz" und liefert automatisch eine Definition oder einen Link zu den neuesten Forschungsergebnissen.
2. Erkennung von Audioinhalten
   Glass hört auf die Stimme des Benutzers oder die Umgebungsgeräusche und eignet sich daher ideal für die Aufnahme von Besprechungen oder Sprachnotizen.
   • ArbeitsweiseStellen Sie sicher, dass das Mikrofon angeschlossen ist und autorisieren Sie den Zugriff auf Glass. Wenn ein Nutzer in einer Besprechung spricht oder Audio abspielt, wandelt Glass die Sprache in Text um und extrahiert Hervorhebungen.
   • typisches BeispielBesprechen Sie den Projektplan in einem Zoom-Meeting, und Glass erstellt eine Zusammenfassung des Meetings mit Aufgaben und Terminen.
3. Informationsorganisation und Wissensgenerierung
   Glass integriert Bildschirm- und Audiodaten in strukturiertes Wissen und erstellt Notizen, Aufgabenlisten oder Vorschläge.
   • ArbeitsweiseGlass organisiert die Informationen im Hintergrund und zeigt sie in einem kleinen Fenster an, ohne dass der Benutzer etwas manuell tun muss. Wenn Sie auf eine Notiz im Fenster klicken, können Sie sie als Textdatei speichern oder in andere Tools exportieren (z. B. Notion).
   • typisches BeispielWährend der Benutzer im Internet surft, erkennt Glass einen technischen Artikel und erstellt Notizen mit dem Titel, der Zusammenfassung und den wichtigsten Punkten.
4. Back-Office-Abläufe und Live-Hilfe
   Glass ist als leichtes Werkzeug konzipiert, das wenig Ressourcen verbraucht und für lange Strecken geeignet ist.
   • ArbeitsweiseNach dem Start ist Glass immer im Hintergrund, und der Benutzer kann die Tastenkombinationen verwenden (Standard). Cmd + G), um das Fenster zu öffnen oder zu verbergen.
   • typisches BeispielDer Benutzer stößt beim Programmieren auf einen Fehler, Glass erkennt den Fehlercode und schlägt eine mögliche Lösung vor oder liefert einen Stack Overflow-Link.
5. Beiträge der Gemeinschaft und Feedback zu Problemen
   Glass ist ein Open-Source-Projekt, und Benutzer können sich an der Entwicklung beteiligen oder über GitHub Feedback geben.
   • Arbeitsweise: Zugang GitHub-RepositorienWenn Sie einen Fehler oder Funktionsvorschlag einreichen möchten, klicken Sie auf die Registerkarte "Probleme". Benutzer können auch das Repository forken, den Code ändern und einen Pull-Request einreichen.
   • typisches BeispielWenn Sie feststellen, dass Glass auf hochauflösenden Bildschirmen nicht richtig angezeigt wird, können Sie auf GitHub einen Eintrag erstellen, in dem Sie das Problem beschreiben und Screenshots anhängen.

caveat

• PrivatwirtschaftGlass erfordert den Zugriff auf den Bildschirm und den Ton, und die Benutzer werden gebeten, sie sorgfältig zu lesen. Pickle Datenschutzrichtlinie Verstehen, wie Daten verarbeitet werden.
• SystemanforderungenDerzeit wird nur macOS unterstützt, Windows- und Linux-Versionen sind noch nicht veröffentlicht worden.
• Unterstützung der Gemeinschaft: Join Pickle's Discord-Gemeinschaft Oder folgen Sie ihrem X-Account für Updates.

Anwendungsszenario

1. Verfahren
   Glass ist für Benutzer gedacht, die Besprechungen effizient aufzeichnen müssen. Es hört den Ton der Besprechung in Echtzeit ab, erstellt Zusammenfassungen und Aufgabenlisten und reduziert den Zeitaufwand für manuelle Notizen.
   Wenn zum Beispiel ein Produktmanager den Entwicklungsfortschritt in einem täglichen Stand-up-Meeting bespricht, kann Glass automatisch eine Tabelle mit Themen, Leads und Terminen erstellen.
2. Studium und Forschung
   Wenn ein Student oder Forscher wissenschaftliche Webseiten oder Literatur durchsucht, extrahiert Glass die wichtigsten Informationen und erstellt Notizen oder Referenzlisten.
   Wenn Sie z. B. einen Aufsatz über maschinelles Lernen lesen, ordnet Glass die wichtigsten Formeln und Schlussfolgerungen, damit Sie sie leicht nachschlagen können.
3. Programmierhilfen
   Während Entwickler ihren Code schreiben, kann Glass Fehler erkennen oder Vorschläge zur Optimierung des Codes machen.
   Wenn Python zum Beispiel einen Fehler meldet, analysiert Glass die Fehlermeldung und empfiehlt eine Lösung.
4. Verwaltung der täglichen Aufgaben
   Glass hilft den Nutzern bei der Organisation von Informationen für tägliche Aufgaben, z. B. beim Extrahieren von To-Do-Listen aus E-Mails oder Dokumenten.
   Wenn ein Benutzer beispielsweise eine E-Mail mit einem Besprechungstermin erhält, erstellt Glass automatisch eine Kalendererinnerung.

QA

1. Welche Systeme werden von Glass unterstützt?
   Derzeit wird nur macOS unterstützt, Windows- und Linux-Versionen sind in Entwicklung.
2. Wie wird die Privatsphäre geschützt?
   Glass erfordert Bildschirm- und Audioberechtigungen, und die Daten werden in Übereinstimmung mit der Pickle-Datenschutzrichtlinie verarbeitet. Nutzer können die Berechtigungen jederzeit aussetzen oder deaktivieren.
3. Benötige ich ein OpenAI-Konto?
   Ja, Glass muss mit einem OpenAI-API-Schlüssel konfiguriert werden, um KI-Funktionen zu unterstützen. Benutzer können ihn über die offizielle OpenAI-Website erhalten.
4. Wie kann ich mich an der Glasentwicklung beteiligen?
   Interviews GitHub-RepositorienDie Gemeinschaft ist offen für alle Beiträge.