�u���Ԃ̖�v������AI�ɂ��܂܂�Ă����H�@�g��������ߋ���\���h����t�̌P����LLM�Ŏ��{�@�C�O�`�[���������FInnovative Tech�iAI+�j

Innovative Tech�iAI+�j�F

���̃R�[�i�[�ł́A2014�N�����[�e�N�m���W�[�̌�����_���P�ʂŋL���ɂ��Ă���Web���f�B�A�uSeamless�v�i�V�[�����X�j����ɂ���R���T�B�������M�B�V�K���̍���AI����̉Ȋw�_�����R�������s�b�N�A�b�v���A�������B

X�F ��shiropen2

�@�X�C�X��EPFL��p�����h����w�ɏ������錤���҂炪���\�����_���uArrows of Time for Large Language Models�v�́A��K�͌��ꃂ�f���iLLM�j���A���̃g�[�N����\������\�͂ɔ�ׂāA�O�̃g�[�N����\������\�͂���邱�Ƃ𖾂炩�ɂ��������񍐂ł���B�����`�[���́A���̌��ۂ����R������w�K����ۂɁA���Ԃ��ߋ����疢���ւƈ�����ɂ�������Ȃ��u���Ԃ̖�v���e�����Ă���Ǝw�E���Ă���B

�u���Ԃ̖�v������AI�ɂ��܂܂�Ă����H

�i�֘A�L���F�u�Ȃ����Ԃ͉ߋ��������ɂ����i�܂Ȃ��H�v���g�ʎq���‚�h�Ő������@���������u���Ԃ̖�v�ɐ؂荞���j

�@LLM�́A�e�L�X�g������R�[�f�B���O�A�`���b�gbot�̉^�p�A�|��ȂǁA���܂��܂ȃ^�X�N�ɕs�Œ��ȑ��݂ƂȂ��Ă���B���̊j�S�́A�ߋ��̒P��i�g�[�N���j�Ɋ�Â��Ď��̃g�[�N����\������Ƃ����l�����ɂ���A�����̃��f���͗^����ꂽ�������玟�̃g�[�N����\������悤�ɌP�������B�������A���̌����ł͋t�����A���Ȃ킿�O�̃g�[�N����\������P�����s�����B

�@�����`�[���́AGPT�iGenerative Pre-trained Transformer�j�AGRU�iGated Recurrent Unit�j�ALSTM�iLong Short-Term Memory�j�ȂǁA�قȂ�\���ƋK�͂����‚��܂��܂�LLM�����؁B�����ł́A�p���t�����X����܂ޕ����̌���̃f�[�^�Z�b�g���g�p���A���f���̃T�C�Y��R���e�L�X�g�E�B���h�E�iAI���f���������𐶐��ł���e�L�X�g�̗ʁj�̒�����ς��ĕ]�����s�����B

�@���_�I�ɂ́A�O�����ƌ������̗\���\�͓͂����ł���͂������A�������ʂ͈قȂ邱�Ƃ��������B���ʂƂ��āA�S�Ă�LLM�͈�т��āA���̃g�[�N����\������ꍇ�����A�O�̃g�[�N����\������ꍇ�Ő��x���Ⴂ���Ƃ����炩�ɂȂ����B

�@���̌��ۂ͉p��ƃt�����X��Ɍ��炸�A�h�C�c��A�g���R��A�t�B�������h��A�x�g�i����A�M���V����A�C���h�l�V�A��Ȃǂ̑��l�Ȍ���ł��m�F�ł����B����ɂ���āu���Ԃ̖�v�̑傫���i�O�����ƌ������̐��\���j�͈قȂ���̂́A�S�Ă̌���őO�������f���̗D�ʐ�������ꂽ�B

�ʏ�̑O�����\���Ƌt�����\�����s�����ނ̃��f���̐��\��r

�@�����҂����́A���̌��ۂ�������邽�߂ɁA�v�Z���G���ƃX�p�[�X���i�f�[�^�̑a�����j�Ƃ����T�O��p�������_�I�t���[�����[�N���Ă����B�Ⴆ�΁A�f���������Ə�Z�̔�Ώ̐��𗘗p���������f�[�^�Z�b�g���쐬���A�O�������f���ƌ��������f���̐��\�����������B���̗�ł́A�傫�Ȑ��̑f���������i�t�����̌v�Z�j����Z�i�������̌v�Z�j�����v�Z�㍢��ł��邱�Ƃ𗘗p���Ă���B

�@����ɁA��l���Z�Ɋ�Â����ꃂ�f���𓱓����A�X�p�[�X���Ɗw�K�”\���̊֌W��T�����B�X�p�[�X�ȍs��Ƃ��̋t�s��̐����𒲂ׂ邱�ƂŁA�������̕ϊ����X�p�[�X�ł���΁A���̋t�ϊ��͈�ʓI�ɂ�薧�ɂȂ�X�������邱�Ƃ��������B����́A�O�������f�������������f�������w�K���₷���\�������‰”\�����������Ă���B

�@�����̌��ʂ́ALLM���e�L�X�g������������@�ɍ��{�I�Ȕ�Ώ̐������݂��邱�Ƃ��Ӗ����Ă���B�‚܂�AAI�͐l�Ԃ̌���g�p�Ɍ�����u���Ԃ̗���v�̂悤�ȓ������A�w�K�ߒ��Ŏ��R�Ɋl�����Ă���”\��������B

�@���̌����́A���R���ꂪ�{���I�Ɏ��Ԃ̕������������Ă���”\�����������Ă���B����̍\�����̂��u�ߋ����疢���ցv�Ƃ����������������A���ꂪ���f���̊w�K�ߒ��ɔ��f����Ă���̂�������Ȃ��B

Source and Image Credits: Papadopoulos, Vassilis, Jeremie Wenger, and Clement Hongler. �gArrows of Time for Large Language Models.�h arXiv preprint arXiv:2401.17505�i2024�j.