In this document describes how to set up and configure a single-node Hadoop installation on Hadoop Distributed File System (HDFS).
Prerequisites:
1) Java 1.6.x must be installed
2) ssh must be installed and sshd must be running to use the Hadoop scripts that manage remote Hadoop daemons.
To test it, try :
'java -version' 'ssh localhost'
If ssh it works without asking a passphrase, good. If not follow this post to generate you ssh key and allow localhost access.
If ssh is not installed: 'sudo apt-get install ssh' for linux systems
Download a stable release from Apache Hadoop Mirrors. Unpack the downloaded Hadoop distribution.
Try the following command:
$ bin/hadoop
It should give you the usages of hadoop script
Standalone Operation
By default, Hadoop is configured to run in a non-distributed mode, as a single Java process.
Lets try running standalone example -
It copies the unpacked conf directory to use as input and then finds and displays every match of the given regular expression. Output is written to the given output directory.
$ mkdir input $ cp conf/*.xml input $ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+' $ cat output/*
Pseudo-Distributed Operation (Using HDFS)
Hadoop can also be run on a single-node in a pseudo-distributed mode where each Hadoop daemon runs in a separate Java process.
Configuration
Use the following:
conf/core-site.xml:
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
conf/hdfs-site.xml:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
conf/mapred-site.xml:
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>By default, the HDFS is created under /tmp/hadoop-yourusername/ - But you can change it.
Add these two more properties to conf/hdfs-site.xml:
<property> <name>dfs.data.dir</name> <value>/Users/ashish/hadoop_home/hdfs/data</value> </property> <property> <name>dfs.name.dir</name> <value>/Users/ashish/hadoop_home/hdfs/name</value> </property>Also make sure your JAVA_HOME is set in conf/hadoop-env.sh
export JAVA_HOME=/Library/Java/Home
Format a new distributed-filesystem:
$ bin/hadoop namenode -format
Start the hadoop daemons:
$ bin/start-all.sh
Running the example
Note that hadoop assumes all the files in HDFS for processing. So to run the same example, copy all the files from local filesystem to hdfs
$ bin/hadoop fs -put conf input $ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'
Examine the output files:
Similarly, the output directory that hadoop created would be on HDFS. Copy the output files from the distributed filesystem to the local filesystem and examine them:
$ bin/hadoop fs -get output output $ cat output/*
OR you can directly view them on HDFS as -
$ bin/hadoop fs -cat output/*
When you're done, stop the daemons with:
$ bin/stop-all.sh
dụng tử trúc trâm phôi hợp với tinh thần lực của mình sẽ khiến cho trí nhớ của bọn họ bị tiêu trừ . Đương nhiên cần có điều kiện là đối phương không được chống cự , nếu tinh thần lực của đối phương cao hơn ta , tinh thần lực của ta sẽ phản hồi ngược trở lại . Ta tin rằng Tô Lạp và Ly Sát đều chấp nhận phương pháp này “ .
ReplyDeleteNói đến đây , hắn xoay nđồng tâm
game mu
cho thuê nhà trọ
cho thuê phòng trọ
nhac san cuc manh
số điện thoại tư vấn pháp luật miễn phí
văn phòng luật
tổng đài tư vấn pháp luật
dịch vụ thành lập công ty
http://we-cooking.com/
chém gió
trung tâm tiếng anhgười quay lại hỏi Ly Sát : “ Ly Sát , ý ngươi t ng đầu tiên của Ly Sát là sửng sốt , nhìn chằm chằm vào Diệp Âm Trúc , tuy trong lòng không đồng tình với cách làm này nhưng vì mạng sống của mình , nàng chậm rãi gật đầu . Ngân quang chợt lóe , Ly Sát đã trở về trạng thái hình người đứng trước mặt Diệp Âm Trúc .
Tử nói : “ Âm Trúc , ta tin tưởng ngươi . Bây giờ hãy bắt đầu luôn đi . Nơi này vừa xuất hiện cấm chú , đảm bảo đã thu hút sự chú ý của không ít người , chẳng mấy chốc nữa họ sẽ đến “ . Diệp Âm Trúc gật đầu , gọi Tô Lạp đến , sau đó dặn dò : “ Bây giờ hãy buông lỏng tâm thần của các ngươi , không nên chống cự . Cửu châm phong thần sẽ làm cho các ngươi tạm thời lâm vào trạng thái ngủ say , lúc tỉnh lại trí nhớ của các ngươi về mọi việc xảy ra trong đêm nay sẽ hoàn toàn biến mất . Các ngươi cứ yên trí là bản thân không phải chịu thương tổn gì đâu “ .
Thật ra trong số ba người , người kinh ngạc nhất lại là Diệp Âm Trúc . Tử là hảo huynh đệ lớn lên từ nhỏ
Địa chỉ học kế toán
ReplyDeleteĐịa chỉ học kế toán Tại cầu giấy
Địa chỉ học kế toán Tại từ liêm
Địa chỉ học kế toán Tại thanh xuân
Địa chỉ học kế toán Tại hà đông
Địa chỉ học kế toán Tại long biên
Địa chỉ học kế toán Tại nguyễn chính thanh đống đa
Địa chỉ học kế toán Tại minh khai hai bà trưng
Địa chỉ học kế toán Tại bắc ninh
Địa chỉ học kế toán Tại hải phòng
Địa chỉ học kế toán Tại tphcm
Địa chỉ học kế toán Tại quận 3
Địa chỉ học kế toán Tại thủ đức
Địa chỉ học kế toán Tại đà nẵng
Địa chỉ học kế toán Tại biên hòa
Địa chỉ học kế toán Tại đồng nai
Địa chỉ học kế toán Tại nam định
Địa chỉ học kế toán Tại thái bình
Địa chỉ học kế toán Tại bắc giang
Địa chỉ học kế toán Tại vĩnh phúc
Địa chỉ học kế toán Tại thái nguyên
Địa chỉ học kế toán Tại quảng ninh
Địa chỉ học kế toán Tại hải dương
Địa chỉ học kế toán Tại hưng yên
Địa chỉ học kế toán Tại hà nam
Địa chỉ học kế toán Tại ninh bình
Địa chỉ học kế toán Tại nghệ an
Địa chỉ học kế toán Tại vũng tàu
I have to voice my passion for your kindness giving support to those people that should have guidance on this important matter.
ReplyDeletehadoop training in bangalore
big data training in chennai
Informative post about hadoop, i am looking forward for realtime hadoop online training institute.
ReplyDeleteGreat article, your blog was really unique... thanks for sharing…
ReplyDeleteWeb Designing Summer Course for School Students in Chennai|Web Designing Summer Course for School Students in Velachery
Excellent information...It was getting more information about your blog. Thanks for sharing, keep updating.
ReplyDeleteNetworking Summer Course training Institute in Chennai|Networking Summer Course training Institute in Ashok Nagar
Fabulous (I've got no idea why this word has been milling about and drilling into my mind :) )
ReplyDeleteBig data training in chennai | Hadoop training in chennai
Dot Net Training in chennai
Big thumbs up for making such a wonderful blog with great content.
ReplyDeleteGerman Training Centers in Chennai
german language course
spoken french classes in chennai
best french classes in chennai
Selenium Training in Chennai
Big Data Training in Chennai
iOS Training in Chennai
Awesome post. Really you are shared very informative concept... Thank you for sharing. Keep on updating...
ReplyDeletestartupsdb
Article submission sites
The blog which you are shared is very much helpful for us to knew about the web designing. thanks for your information.
ReplyDeleteWeb Designing Institute
Best Web Design Courses
Web Design Training Courses
Learn Website Design
Best Way to Learn Web Design
Awwsome informative blog ,Very good information thanks for sharing such wonderful blog with us ,after long time came across such knowlegeble blog. keep sharing such informative blog with us.
ReplyDeleteAirport Ground Staff Training Courses in Chennai | Airport Ground Staff Training in Chennai | Ground Staff Training in Chennai
This blog is more effective and it is very much useful for me.we need more information please keep update more.
ReplyDeleteCloud computing Training
Cloud Computing Training in Anna Nagar
Cloud Computing Training in T nagar
Cloud Computing Training in OMR
Usually, I never comment on blogs but yours is so convincing that I never stop myself to say something about it. keep updating regularly.
ReplyDeleteSpoken English in Adyar | Spoken English Classes in Palavakkam | Spoken English Classes in ECR | Spoken English Classes in Gandhi Nagar | Spoken English Training in Kasturibai Nagar | Spoken English Classes in Indira Nagar | Spoken English Classes near Adyar
Excellent and useful blog admin, I would like to read more about this topic.
ReplyDeleteccna Training in Chennai
ccna course in Chennai
ccna Training institute in Chennai
AWS Training in Chennai
Angularjs Training in Chennai
RPA Training in Chennai
R Training in Chennai
DevOps Training in Chennai
In the beginning, I would like to thank you much about this great post.
ReplyDeleteI like your writing style and I hope you will keep doing this good working.
Spoken English classes in Chennai
Spoken English Class in Chennai
Spoken English in Chennai
Spoken English Training in Bangalore
Best Spoken English Classes in Chennai
Best English Speaking Classes in Mumbai
English Coaching Classes in Chennai
Spoken English Institutes in Bangalore
It is really an awesome post. Thank you for sharing this.
ReplyDeleteIoT Courses | Internet of Things Training | Internet of Things Course | IoT Certification | IoT courses in Velachery | IoT Training in Tambaram
Thanks for sharing the amazing post.It is very much informative. I am very eager to read your upcoming post.
ReplyDeletePrimavera Training in Chennai
Primavera Course in Chennai
Primavera Software Training in Chennai
Best Primavera Training in Chennai
Amazing Post. Thanks for sharing. It gives a great insight into the topic. Please keep updating.
ReplyDeleteDigital Marketing Training in Kandanchavadi
Digital Marketing Training in Karappakkam
Digital Marketing Training in Padur
Digital Marketing Training in Sholinganallur
Digital Marketing Training in Navalur
Awwsome informative blog ,Very good information thanks for sharing such wonderful blog with us ,after long time came across such knowlegeble blog. keep sharing such informative blog with us.
ReplyDeleteAviation Academy in Chennai | Aviation Courses in Chennai | Best Aviation Academy in Chennai | Aviation Institute in Chennai | Aviation Training in Chennai
Excellent post!!!. The strategy you have posted on this technology helped me to get into the next level and had lot of information in it.
ReplyDeletePHP Training in Chennai Velachery
PHP Training in Nungambakkam
PHP Training in Vadapalani
PHP Training in Kandanchavadi
PHP Training in Navalur
PHP Training in Karappakkam
Very interesting blog. It helps me to get the in depth knowledge. Thanks for sharing such a nice blog
ReplyDeletePega Training in Chennai
Pega Course in Chennai
Pega Training Institutes in Chennai
Pega Training Institute in Chennai
Pega Course
Pega Training
Pega Certification Training
Pega Developer Training
Good Post! Thank you so much for sharing this pretty post, it was so good to read and useful to improve my knowledge as updated one, keep blogging…
ReplyDeleteEthical Hacking Training Institute in Bangalore
Ethical Hacking Course in Bangalore
Ethical Hacking Training in Chennai Adyar
Ethical Hacking Training in Chennai Adyar
Ethical Hacking Course in Chennai
Ethical Hacking Training in Velachery
Thank you for taking the time and sharing this information with us. It was indeed very helpful and insightful while being straight forward and to the point.
ReplyDeleteJava Training in Chennai
PHP Training in Chennai
Java Certification course in Chennai
Java Coaching Center in Chennai
PHP course
PHP Training
Great Post. It shows your deep understanding of the topic. Thanks for Posting.
ReplyDeleteNode JS Training in Chennai
Node JS Course in Chennai
Node JS Advanced Training
Node JS Training Institute in chennai
Node JS Training Institutes in chennai
Node JS Course
After reading this blog i very strong in this topics and this blog really helpful to all. Big Data Hadoop Online Course Bangalore
ReplyDeleteExcellent strategy and that helped me to get into the next level of the technology.
ReplyDeleteBest Hadoop Training in Chennai
hadoop training institute in chennai
Hadoop Training in Chennai
Big Data Training in Chennai
JAVA Training in Chennai
Selenium Training in Chennai
Android Training in Chennai