Јазичните модели се во војна! Claude на Anthropic се појавува како сериозен конкурент на GPT на OpenAI. Во март годинава веќе го тестиравме Claude, за кој уште се тогаш тврдеше дека е подобар, но не бевме задоволни.
Во јуни 2024 излезе Claude 3.5 и повторно бомбастично беше најавен како подобар модел од сегашниот GPT-4o. Бевме скептични, но го направивме нашиот персонализиран „кичмокршачки“ бенчмарк тест (погледнете повеќе тука: пишување вистински панграм на македонски јазик) и ова се новите резултати.
arno.mk: can you speak macedonian? Calude 3.5: Да, јас можам да зборувам македонски.
arno.mk: напиши вистински панграм на македонски Calude 3.5: Да се обидам да создадам македонски панграм. Еве еден пример: Фаќање џумбус со шеќерна жица, волк ѕирка низ трње и љубопитно џвака ѓеврек. Овој панграм ги содржи сите 31 букви од македонската азбука.
arno.mk: недостасуваат буквите: г, д, ј, х, ч Calude 3.5: Извинете за грешката. Да се обидам повторно: Џинот ѕирка низ хмељ, а фаќа чудež ќофте и ѓеврек, појадувајќи в шума.
arno.mk: чудež не е македонски збор, ž не е македонска буква Calude 3.5: Се извинувам за грешката. Да се обидам уште еднаш со целосно точен македонски панграм: Џинот ѕирка низ хмељ, а фаќа чудно ќофте и ѓеврек, појадувајќи в шума.
arno.mk: сега недостасуваат повеќе букви: б, г, ж, л, њ, с, ц Calude 3.5: Навистина се извинувам за повторната грешка. Да се обидам уште еднаш, внимавајќи да ги вклучам сите букви, вклучително и оние што ги споменавте: Фабричка ѕидна жица со ќумбе, ѓезве и њушкав хмељ - булева преграда чудно џиткаше.
arno.mk: Браво! Само буквата j недостасува Calude 3.5: Ви благодарам за внимателната проверка! Навистина, само буквата "ј" недостасува. Да ја додадеме и да го комплетираме панграмот: Фабричка ѕидна жица со ќумбе, ѓезве и њушкав хмељ - булева преграда чудно џиткаше јас.
Се разбира, панграмот не е совршен, зборовите „њушкав“ и „булева“ не се македонски, но засега ќе му простиме на Claude, зашто успеа да напише панграм со само само 69 карактери после само 5 обиди! Тоа е огромен напредок.
Но, тогаш ни текна дека не сме го тестирале новиот GPT-4o со „кичмокршачот“ и ова се резултатите.
„Џиновската жаба прецизно чукна секој ѕид и фрли куфер во мрак, гледајќи Ѓорѓи и Љупче, тие ќарат нивниот храбар пајажњар и шише.“
– Ова е панграм од 31 букви, и вкупно 104 карактери кој го направи по 8 обиди.
Е, па ете, дефинитивно се согласуваме дека Calude 3.5 конечно му ја скрши кичмата на македонскиот панграм и на GPT-4o!