之前写了一篇文章:大语言模型TranslateGemma的实际应用
感觉非常有意思,但是也觉得模型文件实在太大了一些,1.2G,过分了。
于是就想自己也造个出来,以备不时之需,在没有网络的时候也可以进行中-英翻译。
本身自己没有ios程序的任何经验,那就借助Codex和Gemini来徒手造一个。
结果还真弄出来了,过程非常曲折
项目地址:https://github.com/zhangrr/ios-translate/
最麻烦的部分有三个
模型的选择,huggingface.co上面有很多模型,从大到小,最后是没有en-zh的特别小的模型,于是干脆自己精炼出来了一个
整个精炼的过程也写到上篇文章了。
ios程序swift的编写,xcode的安装运行,跟Linux不同,别扭的很,拷贝粘贴都不知道在哪里
mac系统的运行,还是别扭,找不到home目录在哪里,尤其是远程桌面完全不可用,最后不得已,用了rustdesk,才勉强可以
比较好的部分是模型的选择和精炼,zh-en用了现成的tiny zh-en,19MB;反向的en-zh,最后蒸馏压缩后也20MB,很可以了。
整个过程也是APP从体积1.2GB–>600MB–>400MB–>200MB–>80MB–40MB一路压缩下来
给个运行截图:

纪念一下,什么都不懂的人,居然写出了IOS程序,居然精炼了大模型!