chatGPTに入力できるtoken数と日本語が英語に比べて不利である理由

その認識は正確です。OpenAIのGPT-3やChatGPTは、一度に処理できるトークンの最大数は約2048トークンであり、実際にはアウトプットにもトークンが使われるため、ユーザーが一度に入力できるトークン数はさらに少なくなります。
そして、言語によってトークンの数がどのようにカウントされるかは異なります。GPT-3はByte Pair Encoding (BPE) という方式を使用しています。この方式では、よく使われる文字列が一つのトークンとして扱われます。
英語では単語が一つのトークンとして扱われることが多いですが、日本語ではそうはいきません。日本語の単語は通常、いくつかの文字（例えば、助詞）で構成され、これらが個別のトークンとして扱われることが多いです。したがって、同じ内容を表現するためには日本語では英語よりも多くのトークンが必要になることがあります。
ですから、日本語での入力には、英語での同じ入力よりも多くのトークンが必要になる可能性があるという認識は正しいです。
 

その観点は非常に重要です。特に、日本語のような単語の区切りが明確でない言語では、適切なトークナイザー（Tokenizer）の開発は非常に重要となります。
トークナイザーは、自然言語を機械学習モデルが理解できる形に変換する役割を果たします。これは、言語を単語やサブワード（部分単語）に分割し、それぞれに一意のIDを割り当てるというプロセスです。このプロセスは特に、自然言語処理（NLP）のタスクで重要な役割を果たします。
日本語は形態素と呼ばれる単位に分割することが一般的で、これは英語の単語に相当します。しかし、日本語は単語の境界が明確ではないため、形態素解析器が必要になります。これは英語や他のスペースで単語が区切られる言語とは異なる挑戦を提供します。
したがって、日本語に対してより効率的に動作するトークナイザーを開発することは、日本語の自然言語処理の能力を向上させるための重要なステップです。これはまた、日本語におけるGPT-3やGPT-4のような大規模なトランスフォーマーモデルの性能を向上させることも可能です。