「N-gram」を含む日記 RSS

はてなキーワード: N-gramとは

2023-01-15

言語モデル頭脳関係があるのか

お前は人工知能より頭がいいのか?研究によると、パラメータの大きな言語モデルプログラム人間の知性を凌駕する可能性があることがわかっている。

Generative Pre-trained Transformer 3が、知能を測る一連の推論テストにおいて平均的な大学生を上回っていることが発見されている。例えばN-gram LMsはカウントベースマルコフモデルパラメータフィッティングを用いるが、GPT3はより巨大なパラメータを持つ。入力に対して人間のようなテキスト、つまり確率の高いものを出力する。GPT3はOpenAIが生み出した技術で、言語翻訳チャットボットなどのアプリケーションテキスト生成など、さまざまな用途がある。

1750億のパラメータを持つ、最大かつ最も強力な言語処理AIモデルひとつだ。

ではGPT-3は「天才」なのか?研究では、一般知識SAT試験スコアIQという3つの重要な要素において、プログラム人間匹敵する能力を持つかどうかを調べられた。プレプリントサーバーarXiv」で公開された結果によると、AI言語モデルは3つのカテゴリーすべてにおいて、人間よりも高いパーセンタイルでゴールしていることがわかっている。

実際のIQテストでのGPT-3の成績はどうか?平均的な大学受験生を相手に、様々な言語モデル分析的推論問題でどのような結果を出したかについての調査結果を発表された。AIが明らかに勝者となった。とのこと https://twitter.com/AiBreakfast/status/1607594052785930240

"GPT-3は、抽象的なパターン誘導に驚くほど強い能力を示し、ほとんどの場面で人間能力と一致するか、あるいはそれを上回ることが分かりました。我々の結果は、GPT-3のような大規模言語モデルが、広範な類推問題に対するゼロショット解を見つけるための創発能力を獲得したことを示しています"と研究者は言う。

同チームは、GPT-3が「明示的に訓練されていないにもかかわらず、生物学的知性がとるのとは根本的に異なる経路を経て、人間類推の基礎と考えられているものと同様のメカニズムを開発することを余儀なくされた」ことを付け加えている。

GPT-3は、すべての問題タイプにおいて、生成精度...および多肢選択精度ともに、人間参加者を上回った 。https://twitter.com/AiBreakfast/status/1607594057735278592

この研究によると、ほとんどの質問に答え、人の代わりに論文の下書きまでできるAIプログラムは、問題ゼロから解かなければならないときや、多肢選択式のテストから選択するとき人間を上回ったそうだ。

AI専門家作家アラン・D・トンプソン博士は、GPT-3が120以上のIQを示すことを示唆している。

結論: ということで、GPT所詮IQ120程度ってことだな。

anond:20230115221217

2009-01-03

http://anond.hatelabo.jp/20090103134806

いや、純粋プログラミング能力に限定したつもりはないよ。一般的な技術力の話。レイトレーシングだってFPGAだってコンパイラだって純粋プログラミング能力とはいえない。だいいちそういうのを連携させるというカリキュラムは実務的とは言わないまでもその辺の給料もらうためだけに書いてるだけのプログラマにはできない芸当をやっていることは確かでしょ(馬鹿にするわけじゃないが)。ギークとまでは呼べないかもしれない。ただそのへんのwebギークにすぐにできる芸当ではない。当たってるかどうか知らないが、私が知っていたadvancedなトピックとしてはフォトンマッピング、HW/SWコデザイン関数型プログラミング言語とかか。むしろページランク分かち書きN-gramも、web系のギークが得意な話題ではないかなとも思う。

話の流れとしてはどうでも良くて、、そういうことさえ経験できない他の大学(宮廷でもままある)の学部卒って使えないよねーという話になって、だからこそ東大IS羨ましーという話になるのです。まああんまり自分を卑下してT大を持ち上げてもしょうがないので私は似たような題材で切磋琢磨しましたが。

増田に張り付いてこんなに反論してる時点で私も時間の使い方がなってないよなー。

2008-10-02

Classic Texts in Computer Science

リブログです。

    http://www.zafar.se/bkz/Articles/ClassicCompScienceTexts

    http://www.zafar.se/bkz/wiki/view/43bafac8c8570f4f

    にあったけど、無くなっていたので

    http://web.archive.org/web/20060823143349/www.zafar.se/bkz/home/classictextsincomputersc.html

    から拾ってきた。

    でも書いてる途中に↓を見つけてしまったのでした。

    Classical Computer Science Texts

    2007-12-13

    http://anond.hatelabo.jp/20071213062012

    うーん、いったいどの検索サービスのことを言っているのかなあ。

    インデキシングに形態素解析は使わないよ。基本的にはn-gramだから繋がった”意味のある”文字列がぶった切られることはないよ。

    ただ、クエリーが”意味の無い”文字列だったので検索結果が見つからず、検索結果を増やすためにクエリーに入力したキーワード形態素解析してクエリーを作り直すってことはよく使われる手法だね。googleなら”意味のある”と増田が思っている範囲の文字列をダブルクオーテーションでくくればいいと思うよ。

    2007-11-02

    誰かGoogle N-gram元にして人工無能実装してくれないかなあ……

     
    ログイン ユーザー登録
    ようこそ ゲスト さん