IT 이론 공부 썸네일형 리스트형 [데이터 시리즈 #4] 옵트인과 옵트아웃 이해하기 본 시리즈는 제가 과거 책을 출판해볼까 하고 Brunch에 연재 하다가 곧 바빠서 그만두고 묵혀 두던 글을 블로그로 가져오려는 것입니다. 그래서 최대한 객관적으로 쓰려다 보니 제가 평소에 얘기하던 어조와는 조금 다를 수 있습니다. 그리고 새로 올라온 글 같지만 일부 Outdated된 내용이 있을 수 있음을 미리 알립니다. (지금은 시간이 다시 생겼으니 혹시 이런 내용으로 책을 출판사가 있다면 연락바랍니다😊 비전공자들에게 데이터나 AI를 쉽게 이해시키기 위한 목적의 연재입니다.) 목차1. 데이터란 무엇인가?2. 빅데이터란 무엇인가?3. 데이터 활용과 개인정보 보호4. 옵트인과 옵트아웃5. 데이터 댐과 데이터 레이크 옵트인과 옵트아웃미국과 유럽에서 개인정보를 바라보는 관점의 차이 앞선 글에서 개인정보 활용.. 더보기 [데이터 시리즈 #3] 데이터 활용과 개인정보 보호 본 시리즈는 제가 과거 책을 출판해볼까 하고 Brunch에 연재 하다가 곧 바빠서 그만두고 묵혀 두던 글을 블로그로 가져오려는 것입니다. 그래서 최대한 객관적으로 쓰려다 보니 제가 평소에 얘기하던 어조와는 조금 다를 수 있습니다. 그리고 새로 올라온 글 같지만 일부 Outdated된 내용이 있을 수 있음을 미리 알립니다. (지금은 시간이 다시 생겼으니 혹시 이런 내용으로 책을 출판사가 있다면 연락바랍니다😊 비전공자들에게 데이터나 AI를 쉽게 이해시키기 위한 목적의 연재입니다.) 목차1. 데이터란 무엇인가?2. 빅데이터란 무엇인가?3. 데이터 활용과 개인정보 보호4. 옵트인과 옵트아웃5. 데이터 댐과 데이터 레이크데이터 활용과 개인정보 보호개인정보 보호법과 데이터 3법 개정 빅데이터 활용, 데이터 경제.. 더보기 AVL 트리 (심화) - 더블 로테이션 이 글은 기본적인 AVL 트리에 대해 알고 있는 사람들을 위한, 좀 더 심화 버전의 글이다. 또는 AVL 트리를 조금 공부했지만 헷갈려서 정리가 필요한 사람을 위한 글이 될 수도 있다. AVL 트리는 컴퓨터 전공 대학생이나 개발 분야로 취직하고자 하는 사람들은 흔히 공부를 하는 주제이다. 보통 LL, RR, RL, LR 등의 상황에서 왼쪽 회전, 오른쪽 회전 등을 공부하였을 것이다. 하지만 여기서 우리는 조금 다른 표현을 쓴다. AVL이라는 개념이 처음 나왔을 때 없었던, 후세에 연구되어 좀 더 개선된 방식이다. 기존에, 우리는 아래와 같은 로테이션을 공부하였다. (이 부분은 그냥 훑고 지나가자) 오른쪽에 있던 2가 왼쪽 위로 올라가면서, 1이 왼쪽 아래로 내려가는 상황을 Left Rotation이라고 .. 더보기 Resilient Distributed Datasets (RDD) 스파크에 관한 논문 한국어 번역 Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster ComputingMatei Zaharia, Mosharaf Chowdhury, Tathagata Das, Ankur Dave, Justin Ma, Murphy McCauley, Michael J. Franklin, Scott Shenker, Ion StoicaUniversity of California, BerkeleyAbstract (초록)We present Resilient Distributed Datasets (RDDs), a distributed memory abstraction that lets programmers perform in-memory .. 더보기 [데이터 시리즈 #2] 빅데이터란 무엇인가? 빅데이터란 무엇인가?다크 데이터로 보는 빅데이터의 개념 빅데이터가 무엇인지 소개하기 위해 다크 데이터를 먼저 설명하는 경우는 흔치 않을 겁니다. 하지만 이 책에서 데이터 관한 최대한 많은 개념들을 다루고자 하는 입장에서 기왕이면 다크 데이터라는 개념도 짚고 갈 겸, 이렇게 소개해보려고 합니다.참고로 다크 데이터는 요즘 이슈가 되는, 무서우면서 뭔가 불법적인 뉘앙스가 있는 '다크 웹'과는 연관이 거의 없습니다. 그냥 손에 잡히지 않는 무언가를 설명하기 위해 '다크'라는 수식어를 사용하고 있을 뿐입니다. 다크 데이터는 기업에서 다양한 IT 시스템, 네트워크 장비를 운용해가며 사업을 영위하는 과정에서 발생하는 수많은 데이터 중 '손댈 수 없는' 데이터를 말합니다. 손댈 수 없다는 의미는 우선 데이터가 어디 있.. 더보기 [데이터 시리즈 #1] 데이터란 무엇인가? 본 시리즈는 제가 과거 책을 출판해볼까 하고 Brunch에 연재 하다가 곧 바빠서 그만두고 묵혀 두던 글을 블로그로 가져오려는 것입니다. 그래서 최대한 객관적으로 쓰려다 보니 제가 평소에 얘기하던 어조와는 조금 다를 수 있습니다. 그리고 새로 올라온 글 같지만 일부 Outdated된 내용이 있을 수 있음을 미리 알립니다. (지금은 시간이 다시 생겼으니 혹시 이런 내용으로 책을 출판사가 있다면 연락바랍니다😊 비전공자들에게 데이터나 AI를 쉽게 이해시키기 위한 목적의 연재입니다.) 목차1. 데이터란 무엇인가?2. 빅데이터란 무엇인가?3. 데이터 활용과 개인정보 보호 우리가 앞으로 데이터에 대해 이야기하려면 데이터가 무엇인지 그 개념을 먼저 이해해야 합니다. 데이터의 사전적 정의는 "이론을 세우는 데 기초가.. 더보기 에러 제어를 위한 채널 코딩(Channel Coding) 방식, 인터리빙 정보 전송 과정에선 무선 전송이든 유선 전송이든 손실나 변조가 일어날 수 밖에 없다. 이런 문제를 근본적으로 개선시키는 여러가지 방법들이 있지만 아무리 노력해도 데이터가 100% 정확하게 전달될 수는 없다. 그때문에 만약 잘못된 데이터가 들어오거나 데이터가 소실되었을때 이를 검출하고 가능하다면 복구까지 하기 위한 매커니즘이 필요하다. 채널 코딩(Channel Coding) 이란 오류 검출을 위해 부가적인 정보(redundancy information)을 첨가하는 것이다. 송신측에선 기존 데이터와 연관된 부가정보를 데이터에 포함 시키고 수신측은 데이터와 이 부가적인 코드를 비교하여 맞지 않는게 있다면 전송과정에 오류가 있었음을 알 수 있다. 물론 이 부가적인 코드라는 것은 송신측과 수신측에서 모두 알고 있.. 더보기 [운영체제] 메모리 관리의 이해 - 메모리 할당, 단편화, 페이징 메모리가 무엇인가? 메모리는 어디에 쓰이는가? 이런 기초적인 부분에 대해선 간단하게 언급만 하고 넘어간다. 하드디스크(보조기억장치)에 저장된 프로그램이 CPU에서 실행되려면 필요한 데이터가 메모리(주기억장치)로 넘어 와야 한다. CPU에서 다이렉트로 하드 디스크를 조작하기엔 속도 차이가 엄청나게 많이 나기 때문에 요즘은 CPU가 하드디스크에 직접 접근하는 일은 없도록 되어 있다. 여기서는 이정도만 알면 아래 내용을 이해하는데 문제가 없다. 자, 메모리는 하나인데 프로세스는 여러개이다. 이 자원을 어떻게 효율적으로 사용 할 것인가? Contiguous Memory Allocation 연속적 메모리 할당 Base and Limit방식이다. 메모리에 프로세스를 연속적으로 할당하는 방식으로, 특정 프로세스가 메.. 더보기 이전 1 2 다음 목록 더보기
