Google AI Edge Foresight for Mac turns scribbles into full notes using offline recordings

Google today announced its new Embedding Gemma 2 model that can be used to “organize, search, and connect information directly on consumer hardware.” To show off its potential, Google created an AI Edge Foresight Mac app for “intelligent notetaking.”

Embedding Gemma 2 “can help find a specific video clip from a voice memo, or search through hours of audio recordings based on a text query, all processed by a single, natively multimodal model.” The 740 million parameter model is built on the Gemma 4 architecture and available with an Apache 2.0 license. This is meant to run locally “within tight resource constraints”: With quantization, on a Google Pixel 11 Pro, Embedding Gemma 2 requires as little as ~191MB active RAM for text-only weights and ~567MB for the full multimodal model.

The bigger showcase is a new Mac app called Google AI Edge Foresight. During video or in-person meetings, this notetaking app listens in the background so that you can just “scribble shorthand bullets for things you want to remember.” The app “enriches [that shorthand] into polished notes using the meeting transcript instantly.” The transcript and audio are processed entirely on your device rather than the cloud.

Another capability lets you “point Google AI Edge Foresight to your project folders, reference materials, diagrams, and calendar.” Supporting local files and Google Drive, this in turn lets you ask the app questions and quickly get back information. There’s also a Live Assistance capability that will “listen and automatically answer questions.” You can download Google AI Edge Foresight here.

أعلنت Google اليوم عن نموذجها الجديد Embedding Gemma 2 الذي يمكن استخدامه "لتنظيم المعلومات والبحث عنها وربطها مباشرة على الأجهزة الاستهلاكية". ولإظهار إمكاناته، أنشأت Google تطبيق AI Edge Foresight لنظام Mac لـ "تدوين الملاحظات الذكي".

يمكن لـ Embedding Gemma 2 "المساعدة في العثور على مقطع فيديو محدد من مذكرة صوتية، أو البحث في ساعات من التسجيلات الصوتية بناءً على استعلام نصي، وكل ذلك يتم معالجته بواسطة نموذج واحد متعدد الوسائط أصلي". النموذج الذي يبلغ 740 مليون معلمة مبني على بنية Gemma 4 ومتوفر بترخيص Apache 2.0. وهو مصمم للعمل محليًا "ضمن قيود الموارد الضيقة": مع التكميم، على Google Pixel 11 Pro، يتطلب Embedding Gemma 2 حوالي 191 ميجابايت فقط من ذاكرة الوصول العشوائي النشطة للأوزان النصية فقط وحوالي 567 ميجابايت للنموذج متعدد الوسائط الكامل.

العرض الأكبر هو تطبيق Mac جديد يسمى Google AI Edge Foresight. أثناء الاجتماعات عبر الفيديو أو الشخصية، يستمع تطبيق تدوين الملاحظات هذا في الخلفية حتى تتمكن من "كتابة نقاط مختصرة للأشياء التي تريد تذكرها". يقوم التطبيق "بإثراء [هذه المختصرات] إلى ملاحظات مصقولة باستخدام نص الاجتماع على الفور". تتم معالجة النص والصوت بالكامل على جهازك بدلاً من السحابة.

تتيح لك إمكانية أخرى "توجيه Google AI Edge Foresight إلى مجلدات مشروعك وموادك المرجعية ورسومك البيانية وتقويمك". مع دعم الملفات المحلية وGoogle Drive، يتيح لك هذا بدوره طرح الأسئلة على التطبيق والحصول على المعلومات بسرعة. هناك أيضًا إمكانية المساعدة المباشرة التي "ستستمع وتجيب على الأسئلة تلقائيًا". يمكنك تنزيل Google AI Edge Foresight هنا.

Google আজ তার নতুন Embedding Gemma 2 মডেল ঘোষণা করেছে যা "ভোক্তা হার্ডওয়্যারে সরাসরি তথ্য সংগঠিত, অনুসন্ধান এবং সংযোগ করতে" ব্যবহার করা যেতে পারে। এর সম্ভাবনা দেখানোর জন্য, Google "বুদ্ধিমান নোট গ্রহণের" জন্য একটি AI Edge Foresight Mac অ্যাপ তৈরি করেছে।

Embedding Gemma 2 "একটি ভয়েস মেমো থেকে একটি নির্দিষ্ট ভিডিও ক্লিপ খুঁজে পেতে, বা একটি টেক্সট কোয়েরির উপর ভিত্তি করে ঘন্টার পর ঘন্টা অডিও রেকর্ডিং অনুসন্ধান করতে সাহায্য করতে পারে, সবই একটি একক, নেটিভলি মাল্টিমোডাল মডেল দ্বারা প্রক্রিয়া করা হয়।" 740 মিলিয়ন প্যারামিটারের এই মডেলটি Gemma 4 আর্কিটেকচারের উপর নির্মিত এবং Apache 2.0 লাইসেন্সের সাথে উপলব্ধ। এটি "সীমিত সম্পদের সীমাবদ্ধতার মধ্যে" স্থানীয়ভাবে চালানোর জন্য তৈরি: কোয়ান্টাইজেশন সহ, Google Pixel 11 Pro-তে, Embedding Gemma 2-এর জন্য টেক্সট-অনলি ওয়েটের জন্য প্রায় 191MB এবং সম্পূর্ণ মাল্টিমোডাল মডেলের জন্য প্রায় 567MB সক্রিয় RAM প্রয়োজন।

বড় প্রদর্শনীটি হল Google AI Edge Foresight নামে একটি নতুন Mac অ্যাপ। ভিডিও বা ব্যক্তিগত মিটিংয়ের সময়, এই নোট গ্রহণের অ্যাপটি ব্যাকগ্রাউন্ডে শোনে যাতে আপনি "আপনার মনে রাখার জিনিসগুলির জন্য শর্টহ্যান্ড বুলেট লিখতে পারেন।" অ্যাপটি "মিটিং ট্রান্সক্রিপ্ট ব্যবহার করে [সেই শর্টহ্যান্ড] কে তাত্ক্ষণিকভাবে পালিশ নোটে সমৃদ্ধ করে।" ট্রান্সক্রিপ্ট এবং অডিও সম্পূর্ণরূপে আপনার ডিভাইসে প্রক্রিয়া করা হয়, ক্লাউডে নয়।

আরেকটি ক্ষমতা আপনাকে "Google AI Edge Foresight কে আপনার প্রজেক্ট ফোল্ডার, রেফারেন্স ম্যাটেরিয়াল, ডায়াগ্রাম এবং ক্যালেন্ডারে নির্দেশ করতে" দেয়। স্থানীয় ফাইল এবং Google Drive সমর্থন করে, এটি আপনাকে অ্যাপটিকে প্রশ্ন জিজ্ঞাসা করতে এবং দ্রুত তথ্য পেতে দেয়। একটি লাইভ অ্যাসিস্ট্যান্স ক্ষমতাও রয়েছে যা "শুনবে এবং স্বয়ংক্রিয়ভাবে প্রশ্নের উত্তর দেবে।" আপনি এখানে Google AI Edge Foresight ডাউনলোড করতে পারেন।

Google hat heute sein neues Embedding Gemma 2 Modell angekündigt, das verwendet werden kann, um „Informationen direkt auf Consumer-Hardware zu organisieren, zu durchsuchen und zu verbinden“. Um sein Potenzial zu demonstrieren, hat Google eine AI Edge Foresight Mac-App für „intelligente Notizen“ entwickelt.

Embedding Gemma 2 „kann helfen, einen bestimmten Videoclip aus einer Sprachnotiz zu finden oder stundenlange Audioaufnahmen basierend auf einer Textabfrage zu durchsuchen, alles verarbeitet von einem einzigen, nativen multimodalen Modell“. Das Modell mit 740 Millionen Parametern basiert auf der Gemma 4 Architektur und ist unter der Apache 2.0 Lizenz verfügbar. Es ist für den lokalen Betrieb „unter engen Ressourcenbeschränkungen“ ausgelegt: Mit Quantisierung benötigt Embedding Gemma 2 auf einem Google Pixel 11 Pro nur etwa 191 MB aktiven RAM für reine Textgewichte und etwa 567 MB für das vollständige multimodale Modell.

Die größere Demonstration ist eine neue Mac-App namens Google AI Edge Foresight. Während Video- oder persönlichen Besprechungen hört diese Notizen-App im Hintergrund mit, sodass Sie einfach „Stichpunkte in Kurzschrift für Dinge, an die Sie sich erinnern möchten, kritzeln können“. Die App „reichert [diese Kurzschrift] sofort mit dem Besprechungsprotokoll zu polierten Notizen an“. Das Transkript und das Audio werden vollständig auf Ihrem Gerät und nicht in der Cloud verarbeitet.

Eine weitere Funktion ermöglicht es Ihnen, „Google AI Edge Foresight auf Ihre Projektordner, Referenzmaterialien, Diagramme und Kalender zu verweisen“. Mit Unterstützung für lokale Dateien und Google Drive können Sie der App so Fragen stellen und schnell Informationen erhalten. Es gibt auch eine Live-Assistance-Funktion, die „zuhört und automatisch Fragen beantwortet“. Sie können Google AI Edge Foresight hier herunterladen.

Google anunció hoy su nuevo modelo Embedding Gemma 2 que se puede utilizar para “organizar, buscar y conectar información directamente en hardware de consumo”. Para mostrar su potencial, Google creó una aplicación para Mac llamada AI Edge Foresight para “toma de notas inteligente”.

Embedding Gemma 2 “puede ayudar a encontrar un clip de video específico a partir de una nota de voz, o buscar en horas de grabaciones de audio basándose en una consulta de texto, todo procesado por un único modelo multimodal nativo”. El modelo de 740 millones de parámetros está construido sobre la arquitectura Gemma 4 y está disponible con una licencia Apache 2.0. Está diseñado para ejecutarse localmente “dentro de restricciones de recursos ajustadas”: con cuantización, en un Google Pixel 11 Pro, Embedding Gemma 2 requiere tan solo ~191MB de RAM activa para pesos de solo texto y ~567MB para el modelo multimodal completo.

La demostración más grande es una nueva aplicación para Mac llamada Google AI Edge Foresight. Durante reuniones por video o en persona, esta aplicación de toma de notas escucha en segundo plano para que puedas “garabatear viñetas abreviadas de las cosas que quieres recordar”. La aplicación “enriquece [esa abreviatura] en notas pulidas usando la transcripción de la reunión al instante”. La transcripción y el audio se procesan completamente en tu dispositivo, no en la nube.

Otra capacidad te permite “apuntar Google AI Edge Foresight a tus carpetas de proyecto, materiales de referencia, diagramas y calendario”. Compatible con archivos locales y Google Drive, esto a su vez te permite hacer preguntas a la aplicación y obtener información rápidamente. También hay una capacidad de Asistencia en Vivo que “escuchará y responderá preguntas automáticamente”. Puedes descargar Google AI Edge Foresight aquí.

Google a annoncé aujourd'hui son nouveau modèle Embedding Gemma 2 qui peut être utilisé pour « organiser, rechercher et connecter des informations directement sur du matériel grand public ». Pour montrer son potentiel, Google a créé une application Mac AI Edge Foresight pour la « prise de notes intelligente ».

Embedding Gemma 2 « peut aider à trouver un clip vidéo spécifique à partir d'un mémo vocal, ou rechercher des heures d'enregistrements audio en fonction d'une requête textuelle, le tout traité par un seul modèle multimodal natif ». Le modèle à 740 millions de paramètres est construit sur l'architecture Gemma 4 et disponible sous licence Apache 2.0. Il est conçu pour fonctionner localement « dans des contraintes de ressources serrées » : avec la quantification, sur un Google Pixel 11 Pro, Embedding Gemma 2 nécessite aussi peu que ~191 Mo de RAM active pour les poids textuels uniquement et ~567 Mo pour le modèle multimodal complet.

La plus grande démonstration est une nouvelle application Mac appelée Google AI Edge Foresight. Pendant les réunions vidéo ou en personne, cette application de prise de notes écoute en arrière-plan afin que vous puissiez simplement « griffonner des puces abrégées pour les choses dont vous voulez vous souvenir ». L'application « enrichit [ces abréviations] en notes soignées en utilisant instantanément la transcription de la réunion ». La transcription et l'audio sont entièrement traités sur votre appareil plutôt que dans le cloud.

Une autre capacité vous permet de « pointer Google AI Edge Foresight vers vos dossiers de projet, documents de référence, diagrammes et calendrier ». Prenant en charge les fichiers locaux et Google Drive, cela vous permet à son tour de poser des questions à l'application et d'obtenir rapidement des informations. Il existe également une capacité d'assistance en direct qui « écoutera et répondra automatiquement aux questions ». Vous pouvez télécharger Google AI Edge Foresight ici.

Google ने आज अपने नए Embedding Gemma 2 मॉडल की घोषणा की जिसका उपयोग "उपभोक्ता हार्डवेयर पर सीधे जानकारी को व्यवस्थित करने, खोजने और कनेक्ट करने" के लिए किया जा सकता है। अपनी क्षमता दिखाने के लिए, Google ने "बुद्धिमान नोट लेने" के लिए एक AI Edge Foresight Mac ऐप बनाया।

Embedding Gemma 2 "वॉयस मेमो से एक विशिष्ट वीडियो क्लिप खोजने में मदद कर सकता है, या टेक्स्ट क्वेरी के आधार पर ऑडियो रिकॉर्डिंग के घंटों में खोज सकता है, यह सब एक एकल, मूल रूप से मल्टीमॉडल मॉडल द्वारा संसाधित किया जाता है।" 740 मिलियन पैरामीटर वाला यह मॉडल Gemma 4 आर्किटेक्चर पर बनाया गया है और Apache 2.0 लाइसेंस के साथ उपलब्ध है। इसे "सीमित संसाधन बाधाओं के भीतर" स्थानीय रूप से चलाने के लिए बनाया गया है: क्वांटाइजेशन के साथ, Google Pixel 11 Pro पर, Embedding Gemma 2 को टेक्स्ट-ओनली वेट के लिए लगभग 191MB और पूर्ण मल्टीमॉडल मॉडल के लिए लगभग 567MB सक्रिय RAM की आवश्यकता होती है।

बड़ा प्रदर्शन Google AI Edge Foresight नामक एक नया Mac ऐप है। वीडियो या व्यक्तिगत मीटिंग के दौरान, यह नोट लेने वाला ऐप पृष्ठभूमि में सुनता है ताकि आप "उन चीजों के लिए शॉर्टहैंड बुलेट्स लिख सकें जिन्हें आप याद रखना चाहते हैं।" ऐप "मीटिंग ट्रांसक्रिप्ट का उपयोग करके [उस शॉर्टहैंड] को तुरंत पॉलिश नोट्स में समृद्ध करता है।" ट्रांसक्रिप्ट और ऑडियो पूरी तरह से आपके डिवाइस पर संसाधित होते हैं, क्लाउड पर नहीं।

एक और क्षमता आपको "Google AI Edge Foresight को आपके प्रोजेक्ट फ़ोल्डर, संदर्भ सामग्री, आरेख और कैलेंडर पर इंगित करने" देती है। स्थानीय फ़ाइलों और Google Drive का समर्थन करते हुए, यह बदले में आपको ऐप से प्रश्न पूछने और जल्दी से जानकारी प्राप्त करने देता है। एक लाइव असिस्टेंस क्षमता भी है जो "सुनेगी और स्वचालित रूप से सवालों के जवाब देगी।" आप यहां Google AI Edge Foresight डाउनलोड कर सकते हैं।

Google hari ini mengumumkan model Embedding Gemma 2 barunya yang dapat digunakan untuk “mengatur, mencari, dan menghubungkan informasi langsung di perangkat keras konsumen.” Untuk menunjukkan potensinya, Google menciptakan aplikasi AI Edge Foresight Mac untuk “pencatatan cerdas.”

Embedding Gemma 2 “dapat membantu menemukan klip video tertentu dari memo suara, atau mencari melalui rekaman audio berjam-jam berdasarkan kueri teks, semuanya diproses oleh satu model multimodal asli.” Model 740 juta parameter ini dibangun di atas arsitektur Gemma 4 dan tersedia dengan lisensi Apache 2.0. Ini dimaksudkan untuk berjalan secara lokal “dalam batasan sumber daya yang ketat”: Dengan kuantisasi, pada Google Pixel 11 Pro, Embedding Gemma 2 hanya membutuhkan ~191MB RAM aktif untuk bobot teks saja dan ~567MB untuk model multimodal penuh.

Pameran yang lebih besar adalah aplikasi Mac baru bernama Google AI Edge Foresight. Selama rapat video atau tatap muka, aplikasi pencatatan ini mendengarkan di latar belakang sehingga Anda dapat “mencoret-coret poin singkat untuk hal-hal yang ingin Anda ingat.” Aplikasi ini “memperkaya [singkatan itu] menjadi catatan yang rapi menggunakan transkrip rapat secara instan.” Transkrip dan audio diproses sepenuhnya di perangkat Anda, bukan di cloud.

Kemampuan lain memungkinkan Anda “mengarahkan Google AI Edge Foresight ke folder proyek, bahan referensi, diagram, dan kalender Anda.” Mendukung file lokal dan Google Drive, ini pada gilirannya memungkinkan Anda mengajukan pertanyaan ke aplikasi dan dengan cepat mendapatkan informasi. Ada juga kemampuan Bantuan Langsung yang akan “mendengarkan dan menjawab pertanyaan secara otomatis.” Anda dapat mengunduh Google AI Edge Foresight di sini.

Googleは本日、新しいEmbedding Gemma 2モデルを発表しました。このモデルは、「コンシューマーハードウェア上で直接情報を整理、検索、接続する」ために使用できます。その可能性を示すために、Googleは「インテリジェントなノートテイキング」のためのAI Edge Foresight Macアプリを作成しました。

Embedding Gemma 2は、「ボイスメモから特定のビデオクリップを見つけたり、テキストクエリに基づいて何時間もの音声録音を検索したりするのに役立ちます。これらはすべて、単一のネイティブなマルチモーダルモデルによって処理されます。」7億4000万パラメータのこのモデルは、Gemma 4アーキテクチャ上に構築され、Apache 2.0ライセンスで利用可能です。これは、「厳しいリソース制約の中で」ローカルで実行することを目的としています。量子化により、Google Pixel 11 Proでは、Embedding Gemma 2はテキストのみの重みに約191MB、完全なマルチモーダルモデルに約567MBのアクティブRAMしか必要としません。

より大きなデモは、Google AI Edge Foresightと呼ばれる新しいMacアプリです。ビデオ会議や対面での会議中、このノートテイキングアプリはバックグラウンドでリスニングし、「覚えておきたいことの速記箇条書き」を scribble できるようにします。このアプリは、「会議の文字起こしを使用して、[その速記]を瞬時に洗練されたノートに豊かにします。」文字起こしと音声は、クラウドではなくデバイス上で完全に処理されます。

もう1つの機能では、「Google AI Edge Foresightをプロジェクトフォルダ、参考資料、図、カレンダーにポイント」できます。ローカルファイルとGoogle Driveをサポートし、これによりアプリに質問して迅速に情報を得ることができます。また、「リッスンして自動的に質問に回答する」ライブアシスタンス機能もあります。Google AI Edge Foresightはこちらからダウンロードできます。

O Google anunciou hoje seu novo modelo Embedding Gemma 2 que pode ser usado para “organizar, pesquisar e conectar informações diretamente em hardware de consumo”. Para mostrar seu potencial, o Google criou um aplicativo Mac AI Edge Foresight para “anotações inteligentes”.

O Embedding Gemma 2 “pode ajudar a encontrar um clipe de vídeo específico a partir de um memorando de voz, ou pesquisar horas de gravações de áudio com base em uma consulta de texto, tudo processado por um único modelo multimodal nativo”. O modelo de 740 milhões de parâmetros é construído na arquitetura Gemma 4 e está disponível sob licença Apache 2.0. Ele foi projetado para ser executado localmente “dentro de restrições rígidas de recursos”: com quantização, em um Google Pixel 11 Pro, o Embedding Gemma 2 requer apenas ~191MB de RAM ativa para pesos apenas de texto e ~567MB para o modelo multimodal completo.

A maior demonstração é um novo aplicativo Mac chamado Google AI Edge Foresight. Durante reuniões por vídeo ou presenciais, este aplicativo de anotações escuta em segundo plano para que você possa “rabiscar marcadores abreviados para coisas que deseja lembrar”. O aplicativo “enriquece [essa abreviação] em notas refinadas usando a transcrição da reunião instantaneamente”. A transcrição e o áudio são processados inteiramente no seu dispositivo, e não na nuvem.

Outra capacidade permite que você “aponte o Google AI Edge Foresight para suas pastas de projeto, materiais de referência, diagramas e calendário”. Com suporte para arquivos locais e Google Drive, isso, por sua vez, permite que você faça perguntas ao aplicativo e obtenha informações rapidamente. Há também um recurso de Assistência ao Vivo que “ouvirá e responderá perguntas automaticamente”. Você pode baixar o Google AI Edge Foresight aqui.

Google сегодня объявил о своей новой модели Embedding Gemma 2, которую можно использовать для «организации, поиска и связи информации непосредственно на потребительском оборудовании». Чтобы продемонстрировать ее потенциал, Google создал приложение AI Edge Foresight для Mac для «интеллектуального создания заметок».

Embedding Gemma 2 «может помочь найти конкретный видеоклип из голосовой заметки или выполнить поиск по часам аудиозаписей на основе текстового запроса, и все это обрабатывается одной собственной мультимодальной моделью». Модель с 740 миллионами параметров построена на архитектуре Gemma 4 и доступна по лицензии Apache 2.0. Она предназначена для локального выполнения «в условиях жестких ограничений ресурсов»: с квантованием на Google Pixel 11 Pro для Embedding Gemma 2 требуется всего около 191 МБ активной оперативной памяти для текстовых весов и около 567 МБ для полной мультимодальной модели.

Более крупная демонстрация — это новое приложение для Mac под названием Google AI Edge Foresight. Во время видеоконференций или личных встреч это приложение для создания заметок прослушивает фон, чтобы вы могли просто «набросать сокращенные пункты того, что хотите запомнить». Приложение «обогащает [эти сокращения] в отшлифованные заметки, используя стенограмму встречи мгновенно». Стенограмма и аудио полностью обрабатываются на вашем устройстве, а не в облаке.

Еще одна возможность позволяет вам «направить Google AI Edge Foresight на ваши папки проектов, справочные материалы, диаграммы и календарь». Поддерживая локальные файлы и Google Drive, это, в свою очередь, позволяет вам задавать вопросы приложению и быстро получать информацию. Также есть функция живой помощи, которая будет «слушать и автоматически отвечать на вопросы». Вы можете скачать Google AI Edge Foresight здесь.

Google 今天宣布了其新的 Embedding Gemma 2 模型，该模型可用于“直接在消费硬件上组织、搜索和连接信息”。为了展示其潜力，Google 创建了一款名为 AI Edge Foresight 的 Mac 应用，用于“智能笔记记录”。

Embedding Gemma 2 “可以帮助从语音备忘录中查找特定的视频片段，或基于文本查询搜索数小时的音频录音，所有这些都由一个单一的原生多模态模型处理。”这个 7.4 亿 参数的模型基于 Gemma 4 架构构建，并采用 Apache 2.0 许可证提供。它旨在“在严格的资源限制下”本地运行：通过量化，在 Google Pixel 11 Pro 上，Embedding Gemma 2 仅需约 191MB 的活动 RAM 用于纯文本权重，以及约 567MB 用于完整的多模态模型。

更大的展示是一款名为 Google AI Edge Foresight 的新 Mac 应用。在视频会议或面对面会议期间，这款笔记应用会在后台监听，以便您可以“草草记下您想记住的事项的速记要点”。该应用“利用会议记录即时将[这些速记]丰富为精美的笔记”。转录和音频完全在您的设备上处理，而不是云端。

另一项功能让您可以“将 Google AI Edge Foresight 指向您的项目文件夹、参考资料、图表和日历”。支持本地文件和 Google Drive，这反过来让您可以向应用提问并快速获取信息。还有一个实时辅助功能，可以“监听并自动回答问题”。您可以在此处下载 Google AI Edge Foresight。