スマホで実行可能な270億パラメーターの軽量LLM「Bonsai 27B」が登場

私わたしたちのスマートフォンで、インターネットに接続せつぞくすることなく、高度こうどな人工知能じんこうちのう（AI）が直接ちょくせつ動作どうさする未来みらいが近ちかづいています。 米国べいこくのAIスタートアップ企業きぎょう「PrismML」は、スマートフォン上うえで動うごかすことができる軽量けいりょうな大容量だいようりょう言語げんごモデル「Bonsai 27B」を発表はっぴょうしました。 このモデルはオープンソースとして提供ていきょうされ、商業的しょうぎょうてきな利用りようも可能かのうです。

一般いっぱん的てきに、270億おくものパラメーターを持もつような高性能こうせいのうなAIモデルはデータのサイズが非常ひじょうに大おおきく、スマートフォンなどの限かぎられたメモリ容量ようりょうで動うごかすことは不可能ふかのうだとされていました。 しかし、「Bonsai 27B」はパラメーターの重おもみを極限きょくげんまで削けずる技術ぎじゅつを開発かいはつし、データを大幅おおはばに小ちいさくすることに成功せいこうしました。

スマートフォン向むけに調整ちょうせいされた「1-bit版ばん」は、データを3.9ギガバイトまで小ちいさくし、iPhoneでも動うごくサイズに収おさめました。 また、ノートパソコン向むけに調整ちょうせいされた「Ternary版ばん」のデータサイズも5.9ギガバイトとなっています。 開発かいはつ会社かいしゃによると、これらの軽量化けいりょうかされたモデルは、元もとのフル精度せいどモデルの90％から95％の性能せいのうを維持いじしているとのことです。

インターネットにデータを送信そうしんする必要ひつようがないため、個人こじんのプライバシーを守まもりながら、安全あんぜんかつ高速こうそくにAIを利用りようできるとして、今後こんごの発展はってんが期待きたいされています。