Forwarded from Android - Reddit
Project Bringing Hardware Accelerated Language Models to Android Devices
We introduce MLC LLM for Android – a solution that allows large language models to be deployed natively on Android devices, plus a productive framework for everyone to further optimize model performance for their use cases. Everything runs locally and accelerated with native GPU on the phone.
We can run runs Vicuña-7b on Android Samsung Galaxy S23.
Github https://github.com/mlc-ai/mlc-llm/tree/main/android
Demo: https://mlc.ai/mlc-llm/#a...
[https://redd.it/13d0fre
@reddit_android
We introduce MLC LLM for Android – a solution that allows large language models to be deployed natively on Android devices, plus a productive framework for everyone to further optimize model performance for their use cases. Everything runs locally and accelerated with native GPU on the phone.
We can run runs Vicuña-7b on Android Samsung Galaxy S23.
Github https://github.com/mlc-ai/mlc-llm/tree/main/android
Demo: https://mlc.ai/mlc-llm/#a...
[https://redd.it/13d0fre
@reddit_android
GitHub
mlc-llm/android at main · mlc-ai/mlc-llm
Universal LLM Deployment Engine with ML Compilation - mlc-ai/mlc-llm
Forwarded from 搞机日记 (路中南)
原来广告早就发了，两周前，只是在一条 unlisted 的视频里
https://www.youtube.com/watch?v=00a9yBiyqQM
https://www.youtube.com/watch?v=00a9yBiyqQM
然后你们看看找的这帮人
杰伦格林年轻人不提
字母：被黑八了
跳舞的快船吉祥物：队里俩三十三四的球星全伤了
就剩下恩比德还在打季后赛了，也就幸好 76 人现在拿到系列赛赛点，不然你这广告放出来季后赛人影都看不见还挺尴尬的（
杰伦格林年轻人不提
字母：被黑八了
跳舞的快船吉祥物：队里俩三十三四的球星全伤了
就剩下恩比德还在打季后赛了，也就幸好 76 人现在拿到系列赛赛点，不然你这广告放出来季后赛人影都看不见还挺尴尬的（
关于 IO 其实想看到的反而是对 Google 比较无关紧要或者说就算有应该放到后面几天的东西：
（指点江山警告：我本来也就半瓶子晃荡水平都没有可能有些东西太异想天开了或者完全外行发言）
1. 图标需要有前景、后景、mono 版本，除 legacy 图标完全交由系统生成（不过现在应该也是这样了），并且进入进入 targetapi 强制要求
2. 修改 Android 导航边到边的适配逻辑，优先由系统兼容应用，比如区分「可交互区域」和「可显示区域」、强制导航栏下渲染以及强制透明导航栏，废弃但允许直接通过可显示区域定义组件位置（也就是当前适配方法依然保留）
3. Chrome Android 版底栏布局
4. Android 离线本地大模型
5. Google News 使用 custom tabs 并且支持 RSS
6. AI 在 Gcam 成像环节之外的应用：比如拍静物拿手机扫一圈给你一个构图建议？
完全没希望并且离大谱的：
Android 分离出来独立的「桌面环境」、标准化接口并且开放更改桌面环境的权限。
没希望、本不用拿出来说但是我还是想鞭尸的：
ChromeOS 双拼支持
（指点江山警告：我本来也就半瓶子晃荡水平都没有可能有些东西太异想天开了或者完全外行发言）
1. 图标需要有前景、后景、mono 版本，除 legacy 图标完全交由系统生成（不过现在应该也是这样了），并且进入进入 targetapi 强制要求
2. 修改 Android 导航边到边的适配逻辑，优先由系统兼容应用，比如区分「可交互区域」和「可显示区域」、强制导航栏下渲染以及强制透明导航栏，废弃但允许直接通过可显示区域定义组件位置（也就是当前适配方法依然保留）
3. Chrome Android 版底栏布局
4. Android 离线本地大模型
5. Google News 使用 custom tabs 并且支持 RSS
6. AI 在 Gcam 成像环节之外的应用：比如拍静物拿手机扫一圈给你一个构图建议？
完全没希望并且离大谱的：
Android 分离出来独立的「桌面环境」、标准化接口并且开放更改桌面环境的权限。
没希望、本不用拿出来说但是我还是想鞭尸的：
ChromeOS 双拼支持