PGR21.com
- 모두가 건전하게 즐길 수 있는 유머글을 올려주세요.
- 유게에서는 정치/종교 관련 등 논란성 글 및 개인 비방은 금지되어 있습니다.
Date 2022/05/20 07:52:23
Name 문문문무
File #1 6cf3bc5f16ba23b787c47bbc87bea04c.png (56.9 KB), Download : 27
출처 1차는 구글 AI블로그, 2차는 펨코
Subject [기타] 구글의 최신 언어AI (수정됨)



1차출처(구글 AI블로그)
https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html?m=1

2차출처(펨코)
https://www.fmkorea.com/index.php?mid=mystery&document_srl=4497456898&search_keyword=AI&search_target=title_content&page=1

구글이 작년에 내놓은 대규모 언어모델(LLM = GPT-3가 속한 범주) PaLM 
새로운 언어 모델링 테스트 모음인 BIG-bench(BIG-bench)에서 획기적인 성능([최초로 인간평균을 넘어섬])을 달성함을 발견
(테스트내용이 무엇인지 궁금하신분들은 
https://github.com/google/BIG-bench/blob/main/bigbench/benchmark_tasks/README.md 참고)

제가 대충 위의 링크로 들어가서 테스트내용이 뭔지보니까
철학,학문,수학,속담풀이,다양한난이도의 코딩, 동영상설명등등 
정말로 다양한 분야의 기본적이지만 세부적인 질문들이 들어있던것 같습니다.



#####
아주 살짝 디테일한 내용
트랜스포머(언어해석알고리즘)블록재구성, 병렬화등의 방법을 통해 계산을 좀더 병렬화시키는데 성공
-> 대충 알고리즘과 컴퓨터칩들의 배열을 좀더 다듬어서 더 많은 매개변수를 때려박을수 있었다는 뜻

고품질 웹 문서, 책, 위키백과, 대화 및 GitHub 코드를 포함하는 영어 및 다국어 데이터 세트를 사용하여 훈련

모든 공백(특히 코드에 중요한)을 보존하고, 
어휘가 부족한 유니코드 문자를 바이트로 분할하고, 
숫자를 각 자리마다 하나씩 개별 토큰으로 분할하는 "무손실" 어휘를 만듦
->대충 어휘가 가진 맥락을 최대한 손실없이 담아내려 노력했고 또 성공했다는 말인듯

#####

아직까진 파라메터 때려박은것 대비 성능향상의 기울기가 전혀? 하락하지 않았으므로 성능개선의 여지가 충분하다고 판단하여
계속 이런쪽(하드웨어,소프트웨어 최적화를 통한 모델크기 증대)으로 연구할 예정 

#####

저는 빠르면 30년대후반~ 늦어도 40년대초중반 즈음으로 봤었는데 
우와.... 이거 생각보다 특이점이 빨리 올지도? 30년대초반도... 가능...?



통합규정 1.3 이용안내 인용

"Pgr은 '명문화된 삭제규정'이 반드시 필요하지 않은 분을 환영합니다.
법 없이도 사는 사람, 남에게 상처를 주지 않으면서 같이 이야기 나눌 수 있는 분이면 좋겠습니다."
다시마두장
22/05/20 07:53
수정 아이콘
이제 다 왔기 때문에 이제와서 영어를 배우기는 아깝다던 침착맨 1승 크크
League of Legend
22/05/20 07:58
수정 아이콘
힘내라
22/05/20 08:04
수정 아이콘
이거 믿고 우리 애 영어 공부는 교과서만 시킵니다 알파고님 충성 충성 풍성^^7
검은바다채찍꼬리
22/05/20 09:32
수정 아이콘
알파고님도 풍성은 힘드셔요.......

아 메타버스 들어가면 가능할지도?
Janzisuka
22/05/20 10:59
수정 아이콘
18남..7녀..다둥이 아빠님...
살려야한다
22/05/20 08:18
수정 아이콘
지금인가요
문문문무
22/05/20 08:19
수정 아이콘
나스닥 저점이 어디까지 갈지는 모르겠지만 일단 지금사놔도 10년뒤에는 상당하지않을까요
22/05/20 08:23
수정 아이콘
하지만 이런 ai도 망치 한방이면
자연어처리
22/05/20 08:34
수정 아이콘
저는 친칠라가 좀 더 인상깊었습니다. 흐흐
문문문무
22/05/20 08:37
수정 아이콘
뭐 누가 됬든 저런 다소 무식해보이는? 방법으로도
인간수준의 범용지능에 도달할 가능성이 높아졌다는 사실은 개인적으로 기쁩니다.
음란파괴왕
22/05/20 08:37
수정 아이콘
이제 게임 하나 만들때마다 10년씩 안기다려도 되는거겠죠? 빨리 gta6 내놔라!
문문문무
22/05/20 08:46
수정 아이콘
(수정됨) 근데 진짜로 10년내로 가능할것같아요
완전히 획기적인 아이디어를 내는건 당연히 불가능하겠지만
사람들이 짠 기획안을 따라 GTA6에 준하는 수준의 게임을 코딩해서 내놓는 수준은
진짜 10년내로 도달할수 있을것같습니다.
저게 알파고쇼크이후 불과 6년만에 도달한 성과니까요,
오징어게임
22/05/20 09:05
수정 아이콘
승리호에서 쓰던거 같은 통역기도 10년뒤 가능한걸까요?
와쿠와쿠
순둥이
22/05/20 11:31
수정 아이콘
거의 다 왔다고 봅니다
올해는다르다
22/05/20 09:19
수정 아이콘
가가 가가 가가 가가?
아델라이데
22/05/20 10:08
수정 아이콘
70점정도 달성하면 실시간 통역기 등장하겠네요.
탑클라우드
22/05/20 11:42
수정 아이콘
전문 통역 조직을 보유하고 운영하는 입장에서 매우 흥미로운 영역입니다.
특히 오역으로 인한 저희 직원과 본사 담당자와의 오해 발생이 제게는 꽤 큰 스트레스인데,
번역/통역 관련 AI의 급격한 발전과 특이점 도래를 진심으로 기원합니다.

아... 나도 쫌 살자...
동굴범
22/05/20 12:54
수정 아이콘
통역기가 실용화 되면 통역기용 언어가 만들어질 수도 있겠네요. 일상언어와는 다른게 통역이 용이한 좀 더 단순하고 문법에 맞고 발음에 신경쓰는...
문문문무
22/05/20 13:27
수정 아이콘
한 100년쯤뒤에는 그언어가 세계 표준언어의 모태가 되어있지 않을까요
동굴범
22/05/20 15:33
수정 아이콘
에스페란토 같은 식의 세계 표준어보다는 각 언어마다 통역에 용이한 형태로 변화할 것 같다는 생각입니다.
내국인끼리는 지금처럼 일상어 그대로 쓰겠지만 외국인과 대화할 때는 통역어(?)로 대화하는 식이죠.
문문문무
22/05/20 20:04
수정 아이콘
뭐 저는 그런현상이 100년쯤 지속되고나면 3~4가지로 통일되는쪽으로 수렴하지않을까 라는 생각이긴합니다만
100년은 너무 이를려나
목록 삭게로! 맨위로
번호 제목 이름 날짜 조회
454554 [LOL] [MSI] 럼블스테이지 첫날 오늘경기 해외배당 [15] 아롱이다롱이5546 22/05/20 5546
454553 [기타] 현기차 : 쌤! 시험이 너무 어려워요 ㅜㅜ [15] 덴드로븀8424 22/05/20 8424
454552 [유머] 후방주의?) 이게 800만뷰라고? [6] League of Legend11115 22/05/20 11115
454550 [기타] 두 클래스 우승한 여자 오토바이 레이서 [3] League of Legend5544 22/05/20 5544
454549 [스타1] 김윤환을 울게 만드는 현재 아프리카 스타판.mp4 [13] insane6677 22/05/20 6677
454548 [기타] (후방주의) 복숭아팬티.mp4 [6] insane8123 22/05/20 8123
454547 [LOL] 구찌 가방 받은 페이커 [16] League of Legend7404 22/05/20 7404
454545 [기타] 구글의 최신 언어AI [21] 문문문무8514 22/05/20 8514
454542 [게임] 에픽게임즈 보더랜드3 무료배포.jpg [3] insane3921 22/05/20 3921
454541 [게임] 하스스톤 야생전 2턴 킬 [7] 여기에있어4857 22/05/20 4857
454540 [기타] 일본 살아본 사람이 보는 10년전 한류와 지금의 차이(장문주의) [38] Aqours10560 22/05/20 10560
454539 [기타]  요즘 한국이 일본에 풀고 있는 독약.jpg [26] Aqours11102 22/05/20 11102
454538 [서브컬쳐] 실베스타 스텔론 최근 모습 [7] TWICE쯔위5739 22/05/20 5739
454537 [기타] 태고의플래쉬 [3] 제가LA에있을때4272 22/05/20 4272
454536 [유머] 천국으로 가는 계단 [9] League of Legend6072 22/05/20 6072
454535 [유머] 헬스장에서 운동하는 여성 뚫어져라 쳐다보는 남성 [5] 흰긴수염돌고래9223 22/05/19 9223
454534 [유머] 안전하게 은행을 터는 법 [6] 길갈6903 22/05/19 6903
454533 [기타] 너 내가 누군지 알아? 미국버전 [17] Croove8942 22/05/19 8942
454532 [동물&귀욤] 잠자리 찾기 [10] 흰긴수염돌고래5450 22/05/19 5450
454531 [게임] 오늘자 e스포츠 역대급 방심 [13] Jurgen Klopp12547 22/05/19 12547
454530 [기타] G식백과 고소목록 [27] 오곡물티슈9924 22/05/19 9924
454529 [유머] 위기의 메갈14를 구원할 유일한 방법.jpg [8] Starlord6057 22/05/19 6057
454528 [유머] 덤벨 쓰로우 참교육 [7] 메롱약오르징까꿍5332 22/05/19 5332
목록 이전 다음
댓글

+ : 최근 1시간내에 달린 댓글
+ : 최근 2시간내에 달린 댓글
맨 위로