<!–
->
تصویر: مارک هاچمن / IDG
Many people believe that Microsoft will eventually provide a version of Copilot that will run within Windows right on your PC. Microsoft may have just tipped its hand with a new AI model, or LLM, that is specifically designed to run on local devices.
روز دوشنبه، مایکروسافت معرفی “Phi-3-mini,” a 3.8-billion parameter language model that the company claims rivals the performance of the slightly older ChatGPT 3.5 and Mixtral 8x7B. The paper is titled “Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone,” which is clear evidence that Microsoft now has an LLM that can run directly on your PC.
Microsoft hasn’t said that Phi-3-mini will be the next Copilot, running locally on your PC. But there’s a case to be made that it is, and that we have an idea of how well it will work.
1.) Local AI matters
It’s a familiar argument: if you issue a search request to Bing, Google Gemini, Claude, or Copilot, it lives in the cloud. This could be embarrassing (“is this wart bad”?) or sensitive (“can I get in trouble for stealing mail?”) or something that you don’t want to leak at all like a list of bank statements.
Corporations would like to ask questions of their data via AIs like Copilot, but there are no “on premises” versions of Copilot to date. A local version of Copilot is almost a necessary option at this point.
مارک هخمان / IDG
2.) Phi-3-mini is small, and that’s good
Many local LLMs require at least 8GB of RAM and many gigabytes of storage space for the necessary files on the PC alone — and that’s assuming the LLMs have been “quantized,” or compressed. There’s a reason Copilot runs in the cloud. It’s because Microsoft’s Azure cloud has both the necessary compute and storage to house it.
This is one of the paper’s most important lines: “Thanks to its small size, phi3-mini can be quantized to 4-bits so that it only occupies ≈ 1.8GB of memory,” it says. “We tested the quantized
model by deploying phi-3-mini on iPhone 14 with A16 Bionic chip running natively on-device and fully offline achieving more than 12 tokens per second.”
What this means is that PCs with 1.8GB of extra memory could run a local version of Copilot. That’s many more PCs than the status quo, including probably legacy PCs with 8GB of RAM. And if an iPhone can run it, chances are that most PCs can too.
LLMs spit out data like a dot-matrix printer, so twelve tokens per second is about 48 characters per second — not great, but not too shabby.
3.) Its performance is good, too — but not too good
Microsoft still wants to tempt people into using Copilot in the cloud, and paying for subscriptions like Copilot Pro. And Microsoft takes time to show off how Phi-3-mini performs just as well as other LLMs. But a smaller number of parameters means that an AI model doesn’t “know” as much as more sophisticated LLMs.
Arxiv.org
But Microsoft has a solution. “The model simply does not have the capacity to store too much ‘factual knowledge’, which can be seen for example with low performance on TriviaQA [a benchmark],” the paper notes. “However, we believe such weakness can be resolved by augmentation with a search engine.”
Bing to the rescue!
4.) It’s a month before Microsoft Build.
Microsoft’s developer conference kicks off in a month’s time. This gives Microsoft time to get a version of Copilot running on top of Phi-3-mini to demonstrate to developers and users before it begins on May 21. That should be plenty of time to whip up a prototype and test out a few queries.
Copilot, of course, will likely be the star of the show. Will we get one that runs natively on your PC? I think it’s much more likely than it once was.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://www.pcworld.com/article/2312816/copilot-running-on-your-pc-microsofts-new-ai-could-be-the-key.html
- 1
- 10
- 11
- 12
- 125
- 14
- 17
- 20
- 2024
- 23
- 24
- 32
- 39
- 7
- a
- درباره ما
- دستیابی به
- عمل
- اقدامات
- AI
- AIS
- معرفی
- تقریبا
- تنها
- در میان
- amp
- an
- و
- آوریل
- هستند
- استدلال
- مقاله
- as
- پرسیدن
- At
- نویسنده
- لاجوردی
- بانک
- اساس
- BE
- ضربه
- زیرا
- بوده
- قبل از
- آغاز می شود
- باور
- محک
- بینگ
- هر دو
- ساختن
- اما
- دکمه
- by
- CAN
- توانا
- ظرفیت
- کارت
- مورد
- دسته
- شانس
- کاراکتر
- گپ gpt
- تراشه
- ادعای
- واضح
- نزدیک
- ابر
- رمز
- COM
- نظرات
- شرکت
- محاسبه
- کنفرانس
- زمینه
- هسته
- میتوانست
- دوره
- اعتبار
- داده ها
- تاریخ
- نشان دادن
- استقرار
- شرح
- طراحی
- توسعه دهنده
- توسعه دهندگان
- دستگاه ها
- مستقیما
- میکند
- لبه
- سردبیر
- اثرات
- جاسازی کردن
- پایان
- موتور
- بزرگنمایی کنید
- در نهایت
- مدرک
- مثال
- اضافی
- غلط
- آشنا
- کمی از
- فایل ها
- تمرکز
- به دنبال
- برای
- سابق
- کاملا
- کهکشان
- بازی
- برج جوزا
- گرفتن
- می دهد
- خوب
- گوگل
- بزرگ
- دست
- است
- آیا
- he
- زیاد
- خیلی
- خانه
- چگونه
- HTML
- HTTPS
- i
- ICON
- اندیشه
- if
- تصویر
- مهم
- in
- از جمله
- شاخص
- به
- آیفون
- Is
- موضوع
- IT
- ITS
- JPEG
- JPG
- تنها
- کلید
- زبان
- بزرگ
- نشت
- کمترین
- ترک کرد
- میراث
- پسندیدن
- احتمالا
- خطوط
- فهرست
- زندگی
- llm
- محلی
- به صورت محلی
- کم
- M2
- ساخته
- مدیر
- بسیاری
- علامت
- ریاضی
- ممکن است
- به معنی
- حافظه
- مایکروسافت
- دقیقه
- دقیقه
- مدل
- دوشنبه
- ماه
- بیش
- اکثر
- بسیار
- بومی
- لازم
- جدید
- اخبار
- بعدی
- نه
- هیچ
- نه
- یادداشت ها
- اکنون
- عدد
- of
- خاموش
- آنلاین نیست.
- OG
- بزرگتر
- on
- یک بار
- یک
- فقط
- بهینه
- گزینه
- or
- دیگر
- خارج
- با ما
- مقاله
- پارامتر
- پارامترهای
- پرداخت
- PC
- رایانه های شخصی
- مردم
- برای
- کارایی
- تلفن
- افلاطون
- هوش داده پلاتو
- پلاتوداتا
- بازی پلاتو
- بسیاری
- پلاگین
- نقطه
- ممکن
- پست
- حق بیمه
- اصلی
- شاید
- مشخصات
- نمونه اولیه
- ارائه
- نمایش ها
- پرسش
- رم
- مطالعه
- دلیل
- اخیر
- گزارش
- درخواست
- نیاز
- راست
- رقبای
- ربات ها
- دویدن
- در حال اجرا
- اجرا می شود
- s
- سعید
- سامسونگ
- سامسونگ کهکشان
- می گوید:
- جستجو
- موتور جستجو
- دوم
- مشاهده گردید
- ارشد
- حساس
- جستجوگرها
- باید
- نشان
- به سادگی
- تنها
- سایت
- اندازه
- کوچک
- کوچکتر
- So
- راه حل
- چیزی
- مصنوعی
- منبع
- فضا
- به طور خاص
- ستاره
- شروع
- اظهارات
- وضعیت
- سرقت
- هنوز
- ذخیره سازی
- opbevare
- داستان
- مشترک
- اشتراک
- چنین
- برچسب
- طول می کشد
- فنی
- پیشرفته
- آزمون
- آزمایش
- نسبت به
- که
- La
- شان
- آنجا
- فکر می کنم
- این
- زمان
- عنوان
- با عنوان
- به
- نشانه
- هم
- بالا
- درست
- دوازده
- توییتر
- نوع
- افراطی
- آشکار می شود
- up
- آدرس
- کاربران
- با استفاده از
- نسخه
- نسخه
- بسیار
- از طريق
- می خواهم
- می خواهد
- بود
- we
- ضعف
- خوب
- شلاق
- اراده
- پنجره
- با
- در داخل
- بدون
- مهاجرت کاری
- خواهد بود
- کتبی
- شما
- خود را
- زفیرنت
- زوم