グラス：リアルタイムで情報を観察・整理するデスクトップAIアシスタント

Glassは、Pickleチームによって開発されたオープンソースのデスクトップAIアシスタントである。Glassが従来のチャットボットと異なる点は、ユーザーが質問する必要がなく、むしろユーザーが対処していることを能動的に分析し、関連するアドバイスや知識を提供する点である。このプロジェクトはGitHubでホストされており、1.8kのスターと323のフォークがあり、開発者の活発なコミュニティがあり、コードの貢献や改良の提案を歓迎している。

機能一覧

• リアルタイムの画面観察：Glassはユーザーの画面内容を継続的に監視し、文書、ウェブページ、アプリケーションインターフェースを分析します。
• 音声コンテンツ認識：ユーザーの音声や環境音声を聞き、重要な情報を抽出する。
• 情報の照合と知識の生成：画面や音声データを構造化された知識に変換し、メモや推奨事項を生成する。
• バックグラウンドでの動作：Glassはバックグラウンドで自動的に動作し、ユーザーが操作することなくリアルタイムのヘルプを提供します。
• オープンソースのサポート：GitHubでホストされており、ユーザーはコードを閲覧したり、問題を提出したり、機能に貢献することができます。
• macOS対応：macOS用に設計されており、インストールが簡単で、操作が軽量です。

ヘルプの使用

設置プロセス

Glassは現在macOSでのみサポートされており、インストールにはNode.js環境が必要です。詳しいインストール手順は以下の通りです：

1. Node.jsのバージョンを確認する
   ターミナルを開き、以下のコマンドを入力してNode.jsのバージョンを確認する：

   node --version
   

   GlassにはNode.js 20.x.xが必要です。Node.jsがインストールされていない場合、またはバージョンが一致しない場合は、Node.js 20.x.xを使用することをお勧めします。 nvm インストール：

   curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash
   nvm install 20
   nvm use 20
   

   インストールが完了したら、もう一度実行してください。 node --version バージョンが20.x.xであることを確認してください。

2. クローニング・グラス・プロジェクト
   ターミナルでGlassのGitHubリポジトリをクローンする：

   git clone https://github.com/pickle-com/glass.git
   

   プロジェクト・カタログにアクセスする：

   cd glass
   

3. 依存関係のインストール
   プロジェクト・ディレクトリで以下のコマンドを実行し、必要な依存関係をインストールする：

   npm install
   

4. OpenAI API キーを設定する
   グラスがAI機能をサポートするには、OpenAIのAPIキーが必要だ。ユーザーはOpenAIの公式サイトにアクセスしてキーを入手する必要がある。ステップ
   • サインイン OpenAIウェブサイトアカウントに登録またはログインしてください。
   • APIキー管理ページに移動し、新しいAPIキーを生成する。
   • キーをGlassプロジェクトのディレクトリにある設定ファイルにコピーします（この方法はGitHubのリポジトリを参照してください。 .env (ドキュメンテーション）。
     より詳細な設定チュートリアルについては、Pickleチームが提供するビデオガイドを参照してください。[](https://github.com/pickle-com/glass)
5. ラン・グラス
   設定が完了したら、プロジェクト・ディレクトリで以下のコマンドを実行してグラスを起動する：

   npm start
   

   GlassはmacOSのデスクトップ上で起動し、起動後はバックグラウンドで動作し続ける。

ガラス使用の主な特徴

グラスの中核機能は、ユーザーの画面と音声をリアルタイムで観察し、インテリジェントなヘルプを提供することです。以下はその詳細な操作手順である：

1. リアルタイム画面観察
   グラスを起動すると、画面のコンテンツを自動的にモニターする。例えば、ユーザーが文書を編集したりウェブページを閲覧している場合、グラスはページ上のテキスト、画像、表を分析し、重要な情報を抽出します。
   • 操作方法Glassは起動時に自動的に実行されるアプリケーションで、追加設定は必要ありません。ブラウザー、ワード、コードエディターなどのアプリケーションを開くと、Glassは右下に小さなウィンドウを表示し、抽出された情報や提案を表示します。
   • 典型例ユーザーがAIに関する記事を書くと、グラスは「人工知能」というキーワードを検出し、自動的に定義や最新の研究へのリンクを提供する。
2. 音声コンテンツ認識
   グラスはユーザーの声や周囲の音声を聞き取るので、会議の録音や音声メモのシナリオに理想的だ。
   • 操作方法マイクが接続されていることを確認し、Glassへのアクセスを許可します。会議中にユーザーが話したり音声を再生すると、Glassはその音声をテキストに変換し、ハイライトを抽出します。
   • 典型例Zoomミーティングでプロジェクト計画について話し合うと、Glassがミーティングのサマリーを作成し、タスクと期限をリストアップします。
3. 情報組織と知識生成
   グラスは画面や音声データを構造化された知識に統合し、メモやタスクリスト、提案を生成する。
   • 操作方法ユーザーが手動で何もしなくても、Glassがバックグラウンドで情報を整理し、小さなウィンドウに表示します。ウィンドウ内のメモをクリックすると、テキストファイルとして保存したり、他のツール（Notionなど）にエクスポートすることができます。
   • 典型例ユーザーがウェブを閲覧している間、Glassは技術論文を検出し、タイトル、要約、重要なポイントを含むメモを生成します。
4. バックオフィス業務とライブヘルプ
   グラスは、リソースをほとんど使わず、長時間の走行に適した軽量な道具として設計されている。
   • 操作方法起動後、Glassは常にバックグラウンドにあり、ユーザーはショートカットキーを使用できます。 Cmd + G)でウィンドウを表示または非表示にする。
   • 典型例ユーザーがプログラミング中にエラーに遭遇した場合、Glassはエラーコードを検出し、可能性のある解決策を提案するか、スタックオーバーフローのリンクを提供します。
5. コミュニティへの貢献と問題のフィードバック
   グラスはオープンソースプロジェクトであり、ユーザーはGitHubを通じて開発に参加したり、フィードバックを提供したりすることができる。
   • 操作方法アクセス GitHubリポジトリバグや機能の提案を提出したい場合は、「Issues」タブをクリックしてください。ユーザーはリポジトリをフォークしてコードを修正し、プルリクエストを提出することもできます。
   • 典型例高解像度のスクリーンでGlassが異常に表示される場合は、GitHubに問題を記述したissueを作成し、スクリーンショットを添付してください。

ほら

• みんかんきぎょうグラスは画面と音声にアクセスする必要があります。 プライバシーポリシー データがどのように処理されるかを理解する。
• システム要件現時点ではmacOSのみに対応しており、Windows版とLinux版はリリースされていません。
• 地域支援ピクルスに参加しよう ディスコード・コミュニティ または、彼らのXアカウントをフォローして最新情報を入手することもできる。

アプリケーションシナリオ

1. 会議録
   Glassは、会議を効率的に記録する必要があるユーザーのための製品です。会議の音声をリアルタイムで聞き、要約やタスクリストを作成し、手作業でメモを取る時間を短縮します。
   例えば、プロダクトマネージャーが毎日のスタンドアップミーティングで開発の進捗状況について話し合う場合、Glassはトピック、リード、期限を含む表を自動的に生成することができる。
2. 研究と調査
   学生や研究者が学術的なウェブページや文献を閲覧すると、Glassは主要な情報を抽出し、メモや参考文献リストを作成します。
   例えば、機械学習に関する論文を読む場合、グラスは復習しやすいように核となる公式や結論を整理する。
3. プログラミング・エイド
   開発者がコードを書くと、Glassはエラーを検出したり、コードの最適化に関する提案を提供したりする。
   例えば、Pythonがエラーを報告すると、Glassはエラーメッセージを分析し、修正を推奨する。
4. 日々のタスク管理
   グラスは、電子メールや文書からToDoリストを抽出するなど、日々のタスクに必要な情報を整理するのに役立つ。
   例えば、ユーザーが会議のスケジュールをメールで受信すると、Glassは自動的にカレンダーのリマインダーを作成します。

品質保証

1. グラスはどのようなシステムをサポートしていますか？
   現在サポートされているのはmacOSのみで、Windows版とLinux版は開発中である。
2. プライバシーはどのように保護されているのか？
   Glassは画面と音声の許可を必要とし、データはPickleプライバシーポリシーに従って処理されます。ユーザーはいつでもパーミッションを停止または無効にすることができます。
3. OpenAIのアカウントは必要ですか？
   そう、AI機能をサポートするためには、グラスにOpenAIのAPIキーを設定する必要がある。ユーザーはOpenAIの公式ウェブサイトから入手できる。
4. グラスの開発に参加するには？
   インタビュー GitHubリポジトリコミュニティはどんな貢献でも受け入れる。