最後のブログ更新から今回の投稿までにしばらく期間がありました。

投稿できてない理由は色々とありますが、最も大きいのは、これからどんなのをやっていこうかという悩みがあったからかもしれません。

AIについて自分の勉強がてらで何記事か書き、それに向けてインターネットの情報や書籍を漁って、少し分かってきた気がします。

少しだけ分かったところですので、ダニングクルーガー効果かもしれませんが、なんだかAIに対して幻滅した気がしてきました。

AIに”幻滅”

去年から流行りのChatGPTのようなLLMは、一つ前の出した文字をAIモデルの入力として入れて次の文字を予測しているだけだとか、大量のデータセットをモデルに食わせると、ある程度の量を超えたら、突然覚醒してくるみたいなものだとか、その基礎となるのは、この「Attention Is All You Need」の論文だとかをざっくり知りました。

ChatGPT出たての頃は、確かに多くの人々にとってインパクトが大きいものだったかと思います。そこには、自分も例外ではないです。

ところで、前回AI搭載ブラウザでも紹介したような、現段階のLLMは真実であるように嘘を言ってきます。

雑談やある程度間違っても問題ないところでは応用できるかもしれませんが、それ以外の活用は難しく思えます。

 

当初ChatGPT出たての頃、AIのコーディング能力にも驚かされましたが、2024/3/12に発表されたこのすごそうなAIソフトウェアエンジニア Devinの能力を見ると、次のような感じで、人間SEの14%ぐらいのパフォーマンスだそうです。今ところの最強と思われるGPT-4のプログラミング能力は人間の2%未満だとかです。

 

最近のトレンドは？

Googleのトレンドで「ChatGPT」で検索すると、日本はこんな感じです。

どうでしょうか。一時盛り上がったものの、やっぱり下がったでしょう！と言ったところでしょうか。

一方で、世界範囲で見ると、こんな感じです。

日本のトレンドと違って、下がるところか、むしろ少し上に向かってますよね？！中には、特に中国で熱度があるみたいです。

あれ？Googleって、中国から使えないじゃなかったっけ？？なのにこの結果？！

また、調べた中、今回のAIはすぐにAGIレベルまで達してしまうのかについて、専門家の中でも意見が分かれるところですが、全体的にはAIに対して楽観的であり、今度こそもう幻滅期来ないであろうという見方を持つ学者が多いように見受けられます。

OpenAIの動画生成AIであるSoraに対しても結構すごいなぁと思いましたが、OpenAI社とfigureが共同開発した人形ロボット「FIGURE 01」を知った時に、これは、また私のAIに対する情熱を注いでくれたような出来事のように思えます。

前述のような問題をどう改善するか、Transformer以外の手法はないか、現段階のモデルでもどうにか応用できないかと考えている人々も大勢いると思いますし、自分もそれ中の一人として加えたいところと考えています。

だからどうする？

YouTubeは娯楽としてもすごくいいところですが、いろんな領域を専門とする方々の意見を無料に聞けるのも、最近AIに対して勉強した時に関心したところになります。

例えば、この「The AI opportunity: Sequoia Capital’s AI Ascent 2024 opening remarks」とかが有益そうな情報がたくさんある気がします。。
※英語が得意ではないので、まだ勉強中です。

こちらの話にある2スライドをお借りします。

ニューラルネットワークの考えは1940年代には既にあるとか、歴史的に今はAIの時代だとかだそうです。

 

現状AI領域のビジネスは、この右側の数社しかないとかだそうです。

故に、新しい時代の流れが来てますと、マーケットはオープンであると、だから、チャンスだよと言ったところでしょうか。

あなたもこの見方に賛同しているのであれば、この波に乗らない手はないでしょう。

 

AIの中には、LLMモデル自体を作るには、知識はもちろん、データセットの準備、モデル訓練に必要なハードウェア、電気代など色々とかかります。

そのため、LLM開発は、中小企業ですら難しいですので、一般個人にはできそうにないかなと思います。

個人的には、LLMではなく、CNNやRNNとか、Transformer以前のモデルが活用できるビジネスを考えるか、もしくは、上記スライドの「APPS」のところのように、既存のLLMを活用してアプリを作るならでは可能性が大きいではないかと思います。

だから、重要なのはやはり現状に対する正しい把握と、勉強し続けることでしょうか。

最後にカッコつけて、AI研究で有名（みたい）な苦い教訓（The Bitter Lesson）の言葉を引用すると、こういったところでしょうか。

The two methods that seem to scale arbitrarily in this way are search and learning.

 

以上、直近1ヶ月ぐらいAIについて個人的な考えの共有です。ご参考になれば嬉しいです。