削除された内容 追加された内容
46行目:
ほとんどのチャットボットとは対照的に、ChatGPTは会話内での利用者による過去の入力を記憶している。これにより、ChatGPTが個人に最適化されたセラピストとして使える可能性があることが指摘されている<ref name="NYTimesInfo">{{Cite web |url=https://www.nytimes.com/2022/12/05/technology/chatgpt-ai-twitter.html |title=The Brilliance and Weirdness of ChatGPT |date=5 December 2022 |last=Roose |first=Kevin |work=[[The New York Times]] |access-date=5 December 2022}}</ref>。攻撃的な回答が生成されるのを防ぐため、ユーザーの入力とChatGPTの生成した回答はOpenAIのコンテンツモデレーションAPI<ref>{{Cite web |title=New and Improved Content Moderation Tooling |url=https://openai.com/blog/new-and-improved-content-moderation-tooling/ |website=OpenAI |access-date=30 December 2022 |language=en |date=10 August 2022}}</ref><ref>{{Cite web |last1=Markov |first1=Todor |last2=Zhang |first2=Chong |last3=Agarwal |first3=Sandhini |last4=Eloundou |first4=Tyna |last5=Lee |first5=Teddy |last6=Adler |first6=Steven |last7=Jiang |first7=Angela |last8=Weng |first8=Lilian |title=A Holistic Approach to Undesired Content Detection in the Real World |url=https://arxiv.org/abs/2208.03274 |website=arXiv:2208.03274 [cs] |access-date=30 December 2022 |date=5 August 2022}}</ref>によってフィルターされており、[[人種差別]]的・[[性差別]]的な入力への回答はAPIによって拒否される仕様になっている<ref name="OpenAIInfo">{{Cite web |author=OpenAI |author-link=OpenAI |date=30 November 2022 |title=ChatGPT: Optimizing Language Models for Dialogue |url=https://openai.com/blog/chatgpt/ |url-status=live |access-date=5 December 2022 |language=en-US |format=HTML}}</ref><ref name="NYTimesInfo" />。
 
機能は豊富なものの、複数の欠点も有る。OpenAIはChatGPTが「時によっては、もっともらしく見えるが誤っている回答を作成する」ことを認めている<ref name="OpenAIInfo" />。ChatGPTの報酬モデルは人間による監視を中心としているため、最適化されすぎてパフォーマンスに影響を及ばしてしまう({{仮リンク|グッドハートの法則|en|Goodhart's law}})<ref>{{Cite arXiv|eprint=2210.10760|class=cs.LG|last1=Gao|first1=Leo|last2=Schulman|title=Scaling Laws for Reward Model Overoptimization|last3=Hilton|first3=Jacob|year=2022}}</ref>。それに加え、ChatGPTは2021年10月以降に発生した出来事については知識が備えられておらず、一部の著名人については知識が全く無いことも有る<ref>{{Cite web |title=OpenAI's ChatGPT Update Brings Improved Accuracy |url=https://www.searchenginejournal.com/openai-chatgpt-update/476116/ |website=Search Engine Journal |date=2023-01-11 |access-date=2023-02-17 |language=en |first=Matt G. |last=Southern}}</ref>。
 
[[BBC]]によると、2022年12月現在でChatGPTは政治的な意見を表明しない仕様である<ref>{{Cite news |title=Could a chatbot answer Prime Minister's Questions? |url=https://www.bbc.com/news/uk-politics-64053550 |access-date=30 December 2022 |work=BBC News |date=27 December 2022}}</ref>。ChatGPTの学習中、人間の「教師」は回答の正当性などに関係なく長い回答を好んでいた<ref name="OpenAIInfo" />。また、訓練データは[[アルゴリズム的バイアス]]があり、時によって人種差別的や性差別的な回答を生成させることにもつながったと言われている。例として、[[有色人種]]や女性の科学者は[[白人]]男性の科学者よりも優れている、といった内容の[[ラップ]]を生成したことがあった<ref>{{Cite web |last=Perrigo |first=Billy |date=5 December 2022 |title=AI Chatbots Are Getting Better. But an Interview With ChatGPT Reveals Their Limits |url=https://time.com/6238781/chatbot-chatgpt-ai-interview/ |access-date=26 December 2022 |website=[[Time (magazine)|Time]]}}</ref><ref>{{Cite web |last=Biddle |first=Sam |date=8 December 2022 |title=The Internet’s New Favorite AI Proposes Torturing Iranians and Surveilling Mosques |url=https://theintercept.com/2022/12/08/openai-chatgpt-ai-bias-ethics/ |access-date=26 December 2022 |website=[[The Intercept]]}}</ref>。