Glass：实时观察并整理信息的桌面AI助手

Glass 是一个开源的桌面 AI 助手，由 Pickle 团队开发。它运行在用户电脑的后台，实时观察屏幕内容和音频，自动整理信息并提供即时帮助。Glass 不同于传统聊天机器人，用户无需主动提问，它会主动分析用户正在处理的内容，提供相关建议或知识。项目托管在 GitHub 上，拥有 1.8k 个星标和 323 个分叉，社区活跃，欢迎开发者贡献代码或提出改进建议。Glass 目前支持 macOS 系统，安装简单，适合需要高效整理日常信息的用户。

功能列表

• 实时屏幕观察：Glass 持续监控用户屏幕内容，分析文档、网页或应用界面。
• 音频内容识别：监听用户语音或环境音频，提取关键信息。
• 信息整理与知识生成：将屏幕和音频数据转化为结构化知识，生成笔记或建议。
• 后台运行：无需用户主动操作，Glass 在后台自动工作，提供实时帮助。
• 开源支持：托管在 GitHub，允许用户查看代码、提交问题或贡献功能。
• macOS 兼容：专为 macOS 系统设计，安装流程简单，运行轻量。

使用帮助

安装流程

Glass 目前仅支持 macOS 系统，安装需要 Node.js 环境。以下是详细安装步骤：

1. 检查 Node.js 版本
   打开终端，输入以下命令检查 Node.js 版本：

   node --version
   

   Glass 要求 Node.js 20.x.x。如果未安装或版本不匹配，推荐使用 nvm 安装：

   curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash
   nvm install 20
   nvm use 20
   

   安装完成后，再次运行 node --version 确认版本为 20.x.x。

2. 克隆 Glass 项目
   在终端中克隆 Glass 的 GitHub 仓库：

   git clone https://github.com/pickle-com/glass.git
   

   进入项目目录：

   cd glass
   

3. 安装依赖
   在项目目录下运行以下命令安装所需依赖：

   npm install
   

4. 配置 OpenAI API 密钥
   Glass 需要 OpenAI API 密钥支持 AI 功能。用户需访问 OpenAI 官网获取密钥。具体步骤：
   • 登录 OpenAI 官网，注册或登录账户。
   • 进入 API 密钥管理页面，生成一个新的 API 密钥。
   • 将密钥复制到 Glass 项目目录下的配置文件中（参考 GitHub 仓库中的说明文档，通常是 .env 文件）。
     如果需要更详细的配置教程，可参考 Pickle 团队提供的视频指南。[](https://github.com/pickle-com/glass)
5. 运行 Glass
   配置完成后，在项目目录下运行以下命令启动 Glass：

   npm start
   

   Glass 将在 macOS 桌面上启动，运行后会在后台持续工作。

使用 Glass 的主要功能

Glass 的核心功能是实时观察用户屏幕和音频，并提供智能帮助。以下是详细操作流程：

1. 实时屏幕观察
   启动 Glass 后，它会自动监控屏幕内容。例如，用户正在编辑文档或浏览网页，Glass 会分析页面文字、图片或表格，提取关键信息。
   • 操作方法：无需额外设置，Glass 启动后会自动运行。用户打开任何应用（如浏览器、Word 或代码编辑器），Glass 会在右下角显示一个小窗口，展示提取的信息或建议。
   • 示例：用户在写一篇关于 AI 的文章，Glass 检测到关键词“人工智能”，会自动提供相关定义或最新研究链接。
2. 音频内容识别
   Glass 可监听用户语音或环境音频，适合会议记录或语音笔记场景。
   • 操作方法：确保麦克风已连接并授权 Glass 访问。用户在会议中讲话或播放音频，Glass 会将语音转为文字并提取重点。
   • 示例：在 Zoom 会议中讨论项目计划，Glass 会生成会议摘要，列出任务和截止日期。
3. 信息整理与知识生成
   Glass 将屏幕和音频数据整合为结构化知识，生成笔记、任务列表或建议。
   • 操作方法：用户无需手动操作，Glass 会在后台整理信息并在小窗口中显示。点击窗口中的笔记，可保存为文本文件或导出到其他工具（如 Notion）。
   • 示例：用户浏览网页时，Glass 检测到一篇技术文章，会生成包含标题、摘要和关键点的笔记。
4. 后台运行与实时帮助
   Glass 设计为轻量工具，占用资源少，适合长时间运行。
   • 操作方法：启动后，Glass 常驻后台，用户可通过快捷键（默认 Cmd + G）调出或隐藏窗口。
   • 示例：用户在编程时遇到错误，Glass 检测到错误代码，会建议可能的解决方案或提供 Stack Overflow 链接。
5. 社区贡献与问题反馈
   Glass 是开源项目，用户可通过 GitHub 参与开发或反馈问题。
   • 操作方法：访问 GitHub 仓库，点击 “Issues” 标签提交 bug 或功能建议。用户也可 fork 仓库，修改代码后提交 pull request。
   • 示例：发现 Glass 在高分辨率屏幕上显示异常，可在 GitHub 创建 issue，描述问题并附上截图。

注意事项

• 隐私：Glass 需访问屏幕和音频，建议用户仔细阅读 Pickle 隐私政策 了解数据处理方式。
• 系统要求：目前仅支持 macOS，Windows 和 Linux 版本尚未发布。
• 社区支持：加入 Pickle 的 Discord 社区 或关注其 X 账号获取更新。

应用场景

1. 会议记录
   Glass 适合需要高效记录会议的用户。它实时监听会议音频，生成摘要和任务列表，减少手动笔记的时间。
   例如，产品经理在每日站会中讨论开发进度，Glass 可自动生成包含议题、负责人和截止日期的表格。
2. 学习与研究
   学生或研究人员浏览学术网页或文献时，Glass 可提取关键信息，生成笔记或参考文献列表。
   例如，阅读一篇关于机器学习的论文，Glass 会整理核心公式和结论，方便复习。
3. 编程辅助
   开发者在写代码时，Glass 可检测错误或提供代码优化建议。
   例如，遇到 Python 报错，Glass 会分析错误信息并推荐修复方案。
4. 日常任务管理
   Glass 帮助用户整理日常工作信息，如从邮件或文档中提取待办事项。
   例如，用户收到一封包含会议安排的邮件，Glass 会自动生成日历提醒。

QA

1. Glass 支持哪些系统？
   目前仅支持 macOS，Windows 和 Linux 版本正在开发中。
2. 如何保护隐私？
   Glass 需要屏幕和音频权限，数据处理遵循 Pickle 隐私政策。用户可随时暂停或关闭权限。
3. 是否需要 OpenAI 账户？
   是的，Glass 需配置 OpenAI API 密钥以支持 AI 功能。用户可通过 OpenAI 官网获取。
4. 如何参与 Glass 开发？
   访问 GitHub 仓库，提交 issue 或 pull request。社区欢迎任何贡献。