21 марта 2023 РБК
Команда биржи пришла к выводу, что бот не может пока заменить стандартную процедуру анализа активов, но может использоваться после нее для контрольной проверки
Криптобиржа Coinbase протестировала ChatGPT в качестве инструмента для проверки токенов перед возможным листингом и сравнила результаты со стандартной процедурой проверки. В отчете биржи говорится, что ChatGPT не достиг нужного уровня точности для интеграции в процесс анализа активов, но продемонстрировал достаточный потенциал, который Coinbase продолжит исследовать.
Команда биржи сравнила 20 результатов проверки от ChatGPT со своей стандартной проверкой. В 12 случаях они совпали. Из оставшихся 8 результатов в 5 случаях бот неправильно обозначил высокорисковый актив как низкорисковый. В сообщении отмечается, что это очень плохой результат, поскольку недооценка риска гораздо более вредна, чем переоценка.
В ходе эксперимента выяснилось, что ChatGPT не способен «понять», что ему не хватает данных для выполнения надежного анализа, и это приводит к пробелам в оценке, поскольку дополнительные факторы остаются незамеченными.
Также тест показал, что бот может быть непоследовательным: когда ему задавали один и тот же вопрос несколько раз, он не всегда выдавал один и тот же ответ.
В итоге команда биржи пришла к выводу, что бот пока не подходит в качестве инструмента для полноценной проверки активов. Но в Coinbase ожидают, что его точность можно повысить, и для начала инженеры могут использовать ChatGPT для выполнения дополнительной контрольной проверки, чтобы выявить риски, которые могли быть упущены из виду при стандартной проверке.
Криптобиржа Coinbase протестировала ChatGPT в качестве инструмента для проверки токенов перед возможным листингом и сравнила результаты со стандартной процедурой проверки. В отчете биржи говорится, что ChatGPT не достиг нужного уровня точности для интеграции в процесс анализа активов, но продемонстрировал достаточный потенциал, который Coinbase продолжит исследовать.
Команда биржи сравнила 20 результатов проверки от ChatGPT со своей стандартной проверкой. В 12 случаях они совпали. Из оставшихся 8 результатов в 5 случаях бот неправильно обозначил высокорисковый актив как низкорисковый. В сообщении отмечается, что это очень плохой результат, поскольку недооценка риска гораздо более вредна, чем переоценка.
В ходе эксперимента выяснилось, что ChatGPT не способен «понять», что ему не хватает данных для выполнения надежного анализа, и это приводит к пробелам в оценке, поскольку дополнительные факторы остаются незамеченными.
Также тест показал, что бот может быть непоследовательным: когда ему задавали один и тот же вопрос несколько раз, он не всегда выдавал один и тот же ответ.
В итоге команда биржи пришла к выводу, что бот пока не подходит в качестве инструмента для полноценной проверки активов. Но в Coinbase ожидают, что его точность можно повысить, и для начала инженеры могут использовать ChatGPT для выполнения дополнительной контрольной проверки, чтобы выявить риски, которые могли быть упущены из виду при стандартной проверке.
Не является индивидуальной инвестиционной рекомендацией | При копировании ссылка обязательна | Нашли ошибку - выделить и нажать Ctrl+Enter | Жалоба