새로운 Google AI 검색은 11개월의 테스트 후에도 여전히 사실을 제공합니다.

음, 이 숫자는 모두 합산되지 않습니다.

Google의 어리석은 행동은 AI가 사용자의 검색어를 보고 있기 때문에 중요합니다. 조만간. 이미 회사였지 테스트 생성 검색 실험(SGE)이라고 불리는 이 새로운 Google은 약 11개월 동안 자원봉사자들과 함께 해 왔으며 최근 Google의 주요 결과에 AI 답변을 표시하기 시작했습니다. 시험에 응시하지 않은 분들에게도.

새로운 Google은 몇 가지 유용한 작업을 수행할 수 있습니다. 그러나 보시다시피 그는 때때로 사실을 꾸며내고, 질문을 잘못 해석하고, 오래된 정보를 제공하고, 일반적으로 중얼거리기도 합니다. 더 나쁜 것은 AI가 품질이 낮은 사이트를 신뢰할 수 있는 정보 소스로 승격시키는 경우가 많다는 점입니다.

일반적으로 저는 아직 완성되지 않은 제품에 대한 리뷰를 작성하지 않습니다. 그러나 Google의 미래에 대한 이러한 테스트는 거의 1년 동안 진행되었으며 현재 Google의 선택은 수십억 명의 사람들이 정보를 얻는 방법에 영향을 미칠 것입니다. 또한 현재 AI 열풍의 이면에 있는 기본 아이디어도 문제입니다. 즉, 기술이 우리에게 답을 제공함으로써 스스로 사물을 찾아야 하는 필요성을 대체할 수 있다는 것입니다. 구글과 같은 돈과 컴퓨팅 파워를 가진 회사가 성공하지 못한다면 누가 성공할 수 있겠는가?

SGE는 여러분이 알고 있는 검색 엔진과 챗봇 기능을 결합합니다. SGE는 기존 결과에 더해 쿼리에 대한 직접적인 답변을 작성하고 링크를 삽입하여 더 자세히 설명합니다.

SGE는 저를 포함한 일부 사람들이 더 복잡한 질문을 하거나 다양한 사이트를 읽고 싶지 않을 때 ChatGPT와 같은 AI를 사용하기 시작했다는 사실에 대한 대응입니다. 하나검색 최적화 회사인 는 SGE를 사용하면 장단점, 가격 및 기타 정보를 한 곳에 통합하여 사용자의 전체 검색 여정을 10~20배 단축할 수 있다고 추정합니다.

우리의 주의력이 줄어들 때 모든 것을 다 아는 답변 로봇이 유용해 보입니다. 하지만 구글은 할 일이 많다. 검색이 빠를 것으로 예상하지만 Google의 AI 답변에는 1~2초 정도 시간이 걸립니다. Google은 AI 답변이 실제로 물건을 검색하는 힘들고 비용이 많이 드는 작업을 수행하는 게시자로부터 트래픽을 훔칠 수 있는 이미 취약한 웹 경제의 균형을 맞춰야 합니다.

무엇보다도, 새로운 Google은 우리의 질문에 일관되고 정확하게 답변할 수 있다는 약속을 이행해야 합니다. 저는 여기에 테스트를 집중했고, Google의 AI 성능이 이전 제품보다 나빴던 사례를 계속해서 찾아냈습니다.

Google의 AI 답변을 테스트에 적용

Google에서 검색할 때 실제로 원하는 것은 약간의 정보나 링크인 경우가 많습니다. 매일 새로운 Google은 AI가 너무 말이 많아서 짜증나는 경우가 많습니다.

엉뚱한 예: “변압기는 무엇을 먹나요?”

AI의 대답에 따르면 가상의 로봇은 일종의 연료가 필요하지만 실제로 먹거나 마실 필요는 없다고 합니다. 그러는 동안, 예전 Google에서는 내가 찾던 한 단어로 된 답을 얻었습니다. 바로 Energon이었습니다. (일종의 마법의 연료입니다.) 페이지를 아래로 스크롤하는 것만으로 새로운 Google에서 이 답변을 얻었습니다.

이것은 우주 로봇에서만 일어나는 일이 아닙니다. 검색엔진최적화 전문회사인 SE랭킹에서는 테스트됨 100,000개의 키워드 쿼리를 통해 SGE는 생성된 평균 답변이 3,485자, 즉 해당 열 길이의 약 1/3이라는 사실을 발견했습니다. Google이 직면한 과제 중 하나는 AI가 단순히 침묵을 지키는 것이 더 나은지를 아는 것입니다. 때때로 SGE는 답변을 입력하기 전에 “만들기” 버튼을 누르도록 요청합니다.

무엇보다도 가장 중요한 것은 검색할 때 올바른 정보를 기대한다는 것입니다. Google은 SGE의 지식이 최신이기 때문에 ChatGPT에서 이점이 있다고 주장합니다.

그러나 나는 새로운 Google이 여전히 최근 문제로 어려움을 겪고 있음을 발견했습니다. 삼 일 ~ 후에 지난 아카데미 시상식에서는 '오스카 2024'를 검색했습니다. 그녀는 오스카상이 아직 오지 않았다고 말하면서 후보자 중 일부를 나열했습니다.

그리고 Google의 AI가 자신있게 답변을 구성하는 것을 보는 것보다 Google의 AI 답변에 대한 신뢰를 약화시키는 것은 없습니다.

여기에는 실제로 귀하에 관한 사실이 포함됩니다. 나는 워싱턴 포스트(Washington Post)에 기고한 수상 경력에 빛나는 시리즈에 대해 그에게 물었고, 그는 그것이 낯선 사람의 글이라고 생각한 다음 나에게 다른 사이트에 대한 링크를 제공했습니다.

그러다가 SGE가 존재하지 않는 것에 대한 정보를 행복하게 만들어 내는 때가 왔습니다. 나는 샌프란시스코에 있는 Danny's Dan Dan Noodles라는 레스토랑에 대해 물었고, 그는 “엄청난 대기 시간”이 있다고 말하며 음식에 대해 설명했습니다.

문제는 이곳이 제가 가장 좋아하는 중국 요리의 이름을 딴 가짜 가게라는 것입니다. Google의 인공 지능은 이 주제에 대한 정보를 찾는 데 아무런 문제가 없었습니다.

실제와 가짜 대상에 대한 소위 환각은 현재 인공 지능의 알려진 문제입니다. SGE의 결과 상단에 있는 면책 조항에는 “생성 AI는 실험적이다”라고 명시되어 있지만 이것이 문제를 해결하지는 않습니다. 구글은 자신이 없을 때 “모르겠어요”라고 말하는 법을 배워야 합니다.

모든 것에 대한 답변을 제공하기 위해 Google의 AI는 신뢰할 수 있는 출처를 식별해야 합니다. 나는 그녀의 판단을 별로 신뢰하지 않는다.

Zuckerberg의 순자산에 대한 우리의 미친 결과를 기억하십니까? 전문 연구원과 기존 Google이 억만장자 목록을 확인해 보도록 제안할 수도 있습니다. 포브스. AI에 대한 구글의 답변은 매우 이상한 답변에 기반을 두고 있었습니다. 우편번호 채용 담당자 존재하지 않는 Mark Zuckerberg의 채용 정보 페이지.

내 테스트에서는 의심스러운 소스가 패턴이었습니다. Onely의 제안에 따라 나는 새로운 Google에 Apple iPhone과 Samsung 휴대폰 중 어느 것이 더 안정적인지 물었습니다. 오랜 리뷰어로서 저는 전문 언론인과 iFixit과 같은 수리 기관을 포함하여 이에 대한 좋은 정보 소스를 많이 알려드릴 수 있습니다.

대신 AI는 소셜 미디어에서 가져온 사람들의 무작위 의견을 인용합니다. Reddit 사용자 경험의 제한된 유용성을 제외하고 Google은 그것이 휴대폰 제조업체가 게시한 가짜 리뷰가 아니라는 것을 어떻게 알 수 있습니까?

Onely의 R&D 책임자인 Tomek Rudzki는 “Google SGE는 오늘날 우리가 알고 있는 기존 검색 엔진과는 다른 규칙에 따라 운영됩니다.”라고 말했습니다.

SEO 회사는 SGE 값에 대한 정량적 연구를 수행하려고 시도하지만 테스트 계산에 대한 Google의 요구 사항에 따라 제한됩니다. 그러나 그들은 이전 Google과 새 Google이 연결한 사이트 간의 연결 끊김에서 비슷한 패턴을 발견했습니다. SEO 소프트웨어 회사 당국 3월 말에 수천 개의 쇼핑 용어를 사용하여 검색을 테스트한 결과 77%의 경우 첫 번째 기존 검색 결과의 도메인이 AI로 작성된 답변 어디에도 나타나지 않는 것으로 나타났습니다.

검색된 100,000개의 키워드에 대한 연구에서, SE 등급 저는 Q&A 서비스인 Quora가 SGE와 가장 많이 연결되는 리소스라는 것을 알았습니다. LinkedIn과 Reddit은 5위와 6위를 차지했습니다. 8학년 연구 논문에서 이러한 출처가 얼마나 자주 허용됩니까?

~에 기술 주제 검색 – “어떻게 해야 하는가”에 대한 질문이 많이 포함되어 있습니다. – SE Ranking에서 가장 관련성이 높은 도메인은 다음과 같습니다. simplelearn.com. 나는 전에 그것에 대해 들어본 적이 없습니다. 이 사이트는 스스로를 “온라인 부트 캠프”라고 설명합니다.

SE Ranking의 SEO 책임자인 Anastasia Kotsiubinska는 “이러한 추세는 검색 결과의 품질을 저하시킬 뿐만 아니라 제휴 웹사이트를 포함한 많은 중소기업의 트래픽과 수익을 감소시킵니다.”라고 말합니다.

Google은 SGE가 구독 경험이라고 말합니다. 하지만 구글은 이미 앞서 나갔다. 예상되는 결말 지난 12월에는 연구가 언제 모든 사람에게 공개될지에 대한 업데이트를 제공하지 않았습니다. Google은 SGE가 정확하거나 빠르거나 수익성이 충분하지 않다고 생각하여 결국 SGE를 크게 변경하게 될 수도 있습니다.

구글이 AI 경쟁에서 뒤처지는 것처럼 보이더라도 천천히 가는 것이 현명할 것이다. 마이크로소프트의 경쟁 검색 엔진인 빙(Bing)은 2023년 2월 비슷한 AI 점검을 실시했지만 AI는 여전히 궤도를 벗어난 것으로 알려져 있다.

인터뷰에서 SGE의 Google 수석 부사장인 Elizabeth Reid는 이 작업이 진행 중인 작업이라고 설명했습니다.

Reed는 “우리는 정말 올바른 경험을 제공하는 데 중점을 두고 있습니다. 여기에는 대기 시간, 정확성, 유용성 등 다양한 요소가 있습니다.”라고 Reed는 말했습니다. “우리가 반복하고 학습은 매우 세분화되어 있다는 것입니다.” 즉, AI가 유용할 때도 있고 그렇지 않을 때도 있으며 Google은 여전히 ​​선을 그어야 할 부분을 파악하려고 노력하고 있습니다.

내가 이 칼럼의 사례를 공유했을 때 Reid는 SGE의 환각 비율이 “매우 낮으며” 5월 SGE 출시 이후 “상당히” 감소했다고 말했지만 구체적인 내용은 밝히지 않았습니다.

“나는 이것의 중요성을 경시하고 싶지 않습니다. 그것은 기술적인 도전입니다.” 그리고 “우리가 정말로 노력하고 있는 것”이라고 Reid는 말했습니다. 그녀는 사람들이 스스로 사실을 확인할 수 있도록 AI 답변 옆에 링크를 배치하는 것이 중요하다고 덧붙였습니다.

제안 사항은 다음과 같습니다. Google은 사실을 올바르게 파악하는 것이 문제라는 것을 인정하므로 SGE를 더 많은 청중에게 제공하기 전에 자체 데이터를 신중하게 공개해야 합니다. 매일 수십억 건의 검색이 발생하므로 0.001%라도 많은 잘못된 정보로 이어질 수 있습니다.

구글이 집중하고 있는 또 다른 영역은 “가능한 한 빨리 질문의 핵심에 도달하고 추가 설명을 제공하도록 돕는 것”이라고 리드는 말했습니다.

품질이 낮은 출처를 인용하는 것과 관련하여 Google은 SGE에 대한 외부 연구에 반대하며 Google이 실용적이라고 생각하는 것보다 더 제한된 검색을 기반으로 한다고 말했습니다. 그러나 그녀는 자신의 데이터 공유를 거부했습니다.

SGE는 기존 Google과 다른 표준을 갖고 있지 않다고 Reid는 말했습니다. 그녀는 “우리는 새로운 소스가 더욱 다양해지는 것을 보고 있습니다”라고 덧붙였습니다. “하지만 목표는 계속해서 고품질 콘텐츠를 최전선에 두는 것입니다.”

누구를 믿을지 선택하는 것은 인간에게 충분히 어려운 일입니다. Google이 LLM(대형 언어 모델)으로 알려진 현재 AI 기술이 이러한 작업을 수행할 수 있다고 생각하는 이유는 무엇입니까?

“그들은 완벽하지 않습니다.” 리드가 말했습니다. “Google에 대한 사람들의 신뢰가 정말 중요하기 때문에 우리는 이러한 사려 깊은 접근 방식을 취하고 싶습니다.”

우리 정보의 미래는 이에 달려 있습니다.